finepdfs_edu_50BT-dclm_30BT-fineweb_edu_20BT-shuffled 数据集介绍、许可证与获取服务

中文简介

HuggingFaceFW/finepdfs_edu_50BT-dclm_30BT-fineweb_edu_20BT-shuffled 是 HuggingFaceFW 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 8904a9587953，同步到 102 个文件，文件元数据合计 249.58 GB；访问状态为“公开”，许可证字段为“odc-by”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

简体中文（默认）上游原文

【README 卡片中文译介】

以下内容依据上游仓库 HuggingFaceFW/finepdfs_edu_50BT-dclm_30BT-fineweb_edu_20BT-shuffled 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
HuggingFaceFW/finepdfs_edu_50BT-dclm_30BT-fineweb_edu_20BT-shuffled 是 HuggingFaceFW 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 8904a9587953，同步到 102 个文件，文件元数据合计 249.58 GB；访问状态为“公开”，许可证字段为“odc-by”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：8904a9587953。任务标签：上游卡片所列任务。语言字段：en。数据集卡名称：FinePDFs-Edu 50BT + DCLM 30BT + FineWeb-Edu 20BT (Shuffled)。规模分类：10M<n<100M。上游页面记录的最近更新时间：2026-03-02。

【文件信息】
上游 API 返回 102 个文件，文件元数据合计 249.58 GB。已保存文件清单中的主要扩展名：.parquet 99 个、无扩展名 1 个。当前较大的文件包括：data/train-00054-of-00100.parquet（2.67 GB）；data/train-00090-of-00100.parquet（2.66 GB）；data/train-00078-of-00100.parquet（2.64 GB）。仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 249.58 GB。仅按下载、解压和临时文件估算，建议至少预留约 299.50 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“odc-by”，具体用途限制、附加政策和归属要求仍以上游原文为准。数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-25 22:47

FinePDFs-Edu 50BT + DCLM 30BT + FineWeb-Edu 20BT (Shuffled) A globally shuffled version of HuggingFaceFW/finepdfs_edu_50BT-dclm_30BT-fineweb_edu_20BT. Part of the Smol-Data collection — tried and tested mixes for strong pretraining. Dataset Description This dataset contains the same ~100B token mixture (50B FinePDFs-Edu + 30B DCLM + 20B FineWeb-Edu) but with all documents globally shuffled (seed=42). Use this version when you need randomized document ordering for pretraining — the unshuffled version has documents grouped by source. How It Was Created The unshuffled dataset was loaded into memory, shuffled with `dataset.shuffle(seed=42)`, and re-uploaded with 100 shards. See the smol_data.py script for details. Usage Citation

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：8904a9587953。任务标签：上游卡片所列任务。语言字段：en。数据集卡名称：FinePDFs-Edu 50BT + DCLM 30BT + FineWeb-Edu 20BT (Shuffled)。规模分类：10M<n<100M。上游页面记录的最近更新时间：2026-03-02。

文件说明

上游 API 返回 102 个文件，文件元数据合计 249.58 GB。已保存文件清单中的主要扩展名：.parquet 99 个、无扩展名 1 个。当前较大的文件包括：data/train-00054-of-00100.parquet（2.67 GB）；data/train-00090-of-00100.parquet（2.66 GB）；data/train-00078-of-00100.parquet（2.64 GB）。仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

.gitattributes2.45 KB
data/train-00000-of-00100.parquet2.22 GB
data/train-00001-of-00100.parquet2.23 GB
data/train-00002-of-00100.parquet2.21 GB
data/train-00003-of-00100.parquet2.25 GB
data/train-00004-of-00100.parquet2.26 GB
data/train-00005-of-00100.parquet2.23 GB
data/train-00006-of-00100.parquet2.22 GB
data/train-00007-of-00100.parquet2.22 GB
data/train-00008-of-00100.parquet2.22 GB
data/train-00009-of-00100.parquet2.22 GB
data/train-00010-of-00100.parquet2.24 GB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 249.58 GB。仅按下载、解压和临时文件估算，建议至少预留约 299.50 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“odc-by”，具体用途限制、附加政策和归属要求仍以上游原文为准。数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。