数据集

FineFineWeb

m-a-p/FineFineWeb

查看上游原文 ↗
上游访问:公开 本站服务:可咨询 内容检查:AI 辅助整理并检查 许可证:apache-2.0 上游版本:7fd92dc825a7

中文简介

m-a-p/FineFineWeb 是 m-a-p 在 Hugging Face 发布的数据集仓库,当前卡片主要关联文本到文本生成、文本生成与推理。本站固定记录上游版本 7fd92dc825a7,同步到 66109 个文件,文件元数据合计 21.06 TB;访问状态为“公开”,许可证字段为“apache-2.0”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 m-a-p/FineFineWeb 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息,完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
m-a-p/FineFineWeb 是 m-a-p 在 Hugging Face 发布的数据集仓库,当前卡片主要关联文本到文本生成、文本生成与推理。本站固定记录上游版本 7fd92dc825a7,同步到 66109 个文件,文件元数据合计 21.06 TB;访问状态为“公开”,许可证字段为“apache-2.0”。

【适用方向】
适合在明确数据字段、拆分和许可证后,用于文本到文本生成、文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本:7fd92dc825a7。 任务标签:文本到文本生成、文本生成与推理。 语言字段:en。 规模分类:n>1T。 上游页面记录的最近更新时间:2024-12-19。

【文件信息】
上游 API 返回 66109 个文件,文件元数据合计 21.06 TB。 已保存文件清单中的主要扩展名:.jsonl 99 个、无扩展名 1 个。 当前较大的文件包括:aerospace/aerospace_000005.jsonl(305.35 MB);aerospace/aerospace_000017.jsonl(304.75 MB);aerospace/aerospace_000079.jsonl(304.55 MB)。 仓库文件较多,本站仅保存前 100 条文件元数据;完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 21.06 TB。仅按下载、解压和临时文件估算,建议至少预留约 25.28 TB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“apache-2.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

FineFineWeb: A Comprehensive Study on Fine-Grained Domain Web Corpus arXiv: Coming Soon Project Page: Coming Soon Blog: Coming Soon Data Statistics | Domain (#tokens/#samples) | Iteration 1 Tokens | Iteration 2 Tokens | Iteration 3 Tokens | Total Tokens | Iteration 1 Count | Iteration 2 Count | Iteration 3 Count | Total Count | | --- | --- | --- | --- | --- | --- | --- | --- | --- | | aerospace | 5.77B | 261.63M | 309.33M | 6.34B | 9100000 | 688505 | 611034 | 10399539 | | agronomy | 13.08B | 947.41M | 229.04M | 14.26B | 15752828 | 2711790 | 649404 | 19114022 | | artistic | 178.25B | 5.79B | 3.75B | 187.80B | 314279703 | 16113512 | 9957104 | 340350319 | | astronomy | 5.20B | 134.39M | 54.66M | 5.38B | 7596521 | 357647 | 145832 | 8100000 | | atmospheric_science | 2.80B | 102.04M | 259.25M | 3.16B | 5709537 | 267789 | 525969 | 6503295 | | automotive | 36.72B | 436.34M | 911.65M | 38.07B | 60239679 | 1166729 | 1535882 | 62942290 | | beauty | 19.10B | 671.88M | 1.01B | 20.78B | 34787376 | 1808382 | 2201810 | 38797568 | | biology | 85.84B | 371.29M | 776.99M | 86.99B | 81413569 | 995384 | 1350348 | 83759301 | | celebrity | 9.63B | 706.41M | 4.22B | 14.56B | 19831188 | 1803788 | 7949240 | 29584216 | | chemistry | 27.80B | 588.92M | 131.46M | 28.52B | 31188189 | 1499085 | 328038 | 33015312 | | christianity | 47.72B | 403.68M | 732.55M | 48.86B | 55013147 | 1349874 | 2021458 | 58384479 | | civil_engineering | 8.85B | 1.27B | 402.91M | 10.52B | 13591632 | 2683940 | 940742 | 17216314 | | communication_engineering | 9.21B | 3.60B | 327.66M | 13.14B | 13001767 | 5959526 | 746495 | 19707788 | | computer_science_and_technology | 194.46B | 3.95B | 4.76B | 203.16B | 278420434 | 10263521 | 8654255 | 297338210 | | design | 96.58B | 3.80B | 450.00M | 100.82B | 190275603 | 16653588 | 2090515 | 209019706 | | drama_and_film | 19.12B | 10.86B | 206.27M | 30.19B | 33117478 | 18443259 | 564251 | 52124988 | | economics | 205.01B | 1.23B | 2.63B | 208.87B | 263965085 | 3874091 | 5505880 | 2733

公开页仅展示原文摘录;完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后,用于文本到文本生成、文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。

规模与格式

固定版本:7fd92dc825a7。 任务标签:文本到文本生成、文本生成与推理。 语言字段:en。 规模分类:n>1T。 上游页面记录的最近更新时间:2024-12-19。

文件说明

上游 API 返回 66109 个文件,文件元数据合计 21.06 TB。 已保存文件清单中的主要扩展名:.jsonl 99 个、无扩展名 1 个。 当前较大的文件包括:aerospace/aerospace_000005.jsonl(305.35 MB);aerospace/aerospace_000017.jsonl(304.75 MB);aerospace/aerospace_000079.jsonl(304.55 MB)。 仓库文件较多,本站仅保存前 100 条文件元数据;完整清单请查看上游仓库。

上游文件元数据

  • .gitattributes4.79 MB
  • aerospace/aerospace_000000.jsonl302.44 MB
  • aerospace/aerospace_000001.jsonl302.51 MB
  • aerospace/aerospace_000002.jsonl302.99 MB
  • aerospace/aerospace_000003.jsonl303.35 MB
  • aerospace/aerospace_000004.jsonl303.24 MB
  • aerospace/aerospace_000005.jsonl305.35 MB
  • aerospace/aerospace_000006.jsonl301.54 MB
  • aerospace/aerospace_000007.jsonl303.23 MB
  • aerospace/aerospace_000008.jsonl300.23 MB
  • aerospace/aerospace_000009.jsonl303.69 MB
  • aerospace/aerospace_000010.jsonl301.84 MB

硬件建议

仓库文件元数据合计 21.06 TB。仅按下载、解压和临时文件估算,建议至少预留约 25.28 TB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“apache-2.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件,并在合法访问权限、许可证及平台规则允许的前提下,协助海内外下载、完整性校验及网盘或硬盘交付;本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明,不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。