From 34cfdc1906d1c32eb6a13ebf3b7b1a161c06d7a5 Mon Sep 17 00:00:00 2001 From: The TensorFlow Datasets Authors Date: Tue, 7 Jun 2022 17:54:08 -0700 Subject: [PATCH] Automated metadata update. PiperOrigin-RevId: 453566567 --- .../testing/metadata/supported.txt | 2 +- .../metadata/wit/1.1.0/dataset_info.json | 1077 +++++++++++++++++ .../testing/metadata/wit/1.1.0/features.json | 95 ++ 3 files changed, 1173 insertions(+), 1 deletion(-) create mode 100644 tensorflow_datasets/testing/metadata/wit/1.1.0/dataset_info.json create mode 100644 tensorflow_datasets/testing/metadata/wit/1.1.0/features.json diff --git a/tensorflow_datasets/testing/metadata/supported.txt b/tensorflow_datasets/testing/metadata/supported.txt index 4512fcfbab4..49f9e457056 100644 --- a/tensorflow_datasets/testing/metadata/supported.txt +++ b/tensorflow_datasets/testing/metadata/supported.txt @@ -4061,7 +4061,7 @@ wikipedia_toxicity_subtypes/Multilingual/0.3.1 wine_quality/red/1.0.0 wine_quality/white/1.0.0 winogrande/1.1.0 -wit/1.0.0 +wit/1.1.0 wit_kaggle/test_without_gold/1.0.1 wmt13_translate/cs-en/1.0.0 wmt13_translate/de-en/1.0.0 diff --git a/tensorflow_datasets/testing/metadata/wit/1.1.0/dataset_info.json b/tensorflow_datasets/testing/metadata/wit/1.1.0/dataset_info.json new file mode 100644 index 00000000000..9a11a6c748f --- /dev/null +++ b/tensorflow_datasets/testing/metadata/wit/1.1.0/dataset_info.json @@ -0,0 +1,1077 @@ +{ + "citation": "@article{srinivasan2021wit,\n title={WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning},\n author={Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},\n journal={arXiv preprint arXiv:2103.01913},\n year={2021}\n}", + "description": "Wikipedia-based Image Text (WIT) Dataset is a large multimodal multilingual\ndataset. WIT is composed of a curated set of 37.6 million entity rich image-text\nexamples with 11.5 million unique images across 108 Wikipedia languages. Its\nsize enables WIT to be used as a pretraining dataset for multimodal machine\nlearning models.", + "downloadSize": "27062003813", + "fileFormat": "tfrecord", + "location": { + "urls": [ + "https://github.com/google-research-datasets/wit/" + ] + }, + "moduleName": "tensorflow_datasets.vision_language.wit.wit", + "name": "wit", + "releaseNotes": { + "1.0.0": "Initial release. It loads the WIT dataset from https://storage.googleapis.com/gresearch/wit/", + "1.1.0": "Added `val` and `test` splits." + }, + "splits": [ + { + "filepathTemplate": "{DATASET}-{SPLIT}.{FILEFORMAT}-{SHARD_X_OF_Y}", + "name": "train", + "numBytes": "86012304316", + "shardLengths": [ + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36178", + "36179", + "36178", + "36178", + "36178", + "36178" + ] + }, + { + "filepathTemplate": "{DATASET}-{SPLIT}.{FILEFORMAT}-{SHARD_X_OF_Y}", + "name": "val", + "numBytes": "633970126", + "shardLengths": [ + "32628", + "32628", + "32628", + "32628", + "32628", + "32628", + "32628", + "32628" + ] + }, + { + "filepathTemplate": "{DATASET}-{SPLIT}.{FILEFORMAT}-{SHARD_X_OF_Y}", + "name": "test", + "numBytes": "511584371", + "shardLengths": [ + "52542", + "52541", + "52541", + "52542" + ] + } + ], + "version": "1.1.0" +} \ No newline at end of file diff --git a/tensorflow_datasets/testing/metadata/wit/1.1.0/features.json b/tensorflow_datasets/testing/metadata/wit/1.1.0/features.json new file mode 100644 index 00000000000..3999aa84772 --- /dev/null +++ b/tensorflow_datasets/testing/metadata/wit/1.1.0/features.json @@ -0,0 +1,95 @@ +{ + "pythonClassName": "tensorflow_datasets.core.features.features_dict.FeaturesDict", + "featuresDict": { + "features": { + "original_width": { + "pythonClassName": "tensorflow_datasets.core.features.tensor_feature.Tensor", + "tensor": { + "shape": {}, + "dtype": "int32", + "encoding": "none" + } + }, + "page_url": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "hierarchical_section_title": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "mime_type": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "caption_alt_text_description": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "page_title": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "context_section_description": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "language": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "caption_reference_description": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "attribution_passes_lang_id": { + "pythonClassName": "tensorflow_datasets.core.features.tensor_feature.Tensor", + "tensor": { + "shape": {}, + "dtype": "bool", + "encoding": "none" + } + }, + "context_page_description": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "original_height": { + "pythonClassName": "tensorflow_datasets.core.features.tensor_feature.Tensor", + "tensor": { + "shape": {}, + "dtype": "int32", + "encoding": "none" + } + }, + "caption_attribution_description": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "page_changed_recently": { + "pythonClassName": "tensorflow_datasets.core.features.tensor_feature.Tensor", + "tensor": { + "shape": {}, + "dtype": "bool", + "encoding": "none" + } + }, + "section_title": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "image_url": { + "pythonClassName": "tensorflow_datasets.core.features.text_feature.Text", + "text": {} + }, + "is_main_image": { + "pythonClassName": "tensorflow_datasets.core.features.tensor_feature.Tensor", + "tensor": { + "shape": {}, + "dtype": "bool", + "encoding": "none" + } + } + } + } +} \ No newline at end of file