中文简介
HuggingFaceFW/finepdfs_50BT-dclm_30BT-fineweb_edu_20BT 是 HuggingFaceFW 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 edc8830d1ef0，同步到 302 个文件，文件元数据合计 473.96 GB；访问状态为“公开”，许可证字段为“odc-by”。
上游模型卡 / 数据集卡
【README 卡片中文译介】
以下内容依据上游仓库 HuggingFaceFW/finepdfs_50BT-dclm_30BT-fineweb_edu_20BT 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。
【资源概览】
HuggingFaceFW/finepdfs_50BT-dclm_30BT-fineweb_edu_20BT 是 HuggingFaceFW 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 edc8830d1ef0，同步到 302 个文件，文件元数据合计 473.96 GB；访问状态为“公开”，许可证字段为“odc-by”。
【适用方向】
适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。
【版本与规格】
固定版本：edc8830d1ef0。 任务标签：上游卡片所列任务。 语言字段：en。 数据集卡名称：FinePDFs 50BT + DCLM 30BT + FineWeb-Edu 20BT。 规模分类：10M<n<100M。 上游页面记录的最近更新时间：2026-03-02。
【文件信息】
上游 API 返回 302 个文件，文件元数据合计 473.96 GB。 已保存文件清单中的主要扩展名：.parquet 99 个、无扩展名 1 个。 当前较大的文件包括：dclm_100BT/000_00024.parquet（934.72 MB）；dclm_100BT/000_00026.parquet（933.82 MB）；dclm_100BT/000_00023.parquet（933.53 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。
【运行或处理环境】
仓库文件元数据合计 473.96 GB。仅按下载、解压和临时文件估算，建议至少预留约 568.76 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。
【使用边界】
许可证显示为“odc-by”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
FinePDFs 50BT + DCLM 30BT + FineWeb-Edu 20BT A ~100 billion token pretraining mixture combining three high-quality English data sources in a 50-30-20 ratio. Part of the Smol-Data collection — tried and tested mixes for strong pretraining. Inspired by optimal dataset mixing. Dataset Description | Component | Source | Tokens | |---|---|---| | FinePDFs 100BT | FinePDFs | ~50B | | DCLM 100BT | DCLM-Baseline 1.0 | ~30B | | FineWeb-Edu 100BT | FineWeb-Edu | ~20B | The schema is reduced to the intersection of columns across all three sources: `text`, `id`, `url`, and `dataset`. A pre-shuffled version is available at HuggingFaceFW/finepdfs_50BT-dclm_30BT-fineweb_edu_20BT-shuffled. How It Was Created The dataset was generated using datatrove with the smol_data.py script. Each component was subsampled from its respective 100BT subset at the target fraction (0.5, 0.3, 0.2) using a `SamplerFilter` with seed 42. Components were written sequentially via Slurm job dependencies to avoid concurrent commits. Usage Citation
适用场景
适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。
规模与格式
固定版本：edc8830d1ef0。 任务标签：上游卡片所列任务。 语言字段：en。 数据集卡名称：FinePDFs 50BT + DCLM 30BT + FineWeb-Edu 20BT。 规模分类：10M<n<100M。 上游页面记录的最近更新时间：2026-03-02。
文件说明
上游 API 返回 302 个文件，文件元数据合计 473.96 GB。 已保存文件清单中的主要扩展名：.parquet 99 个、无扩展名 1 个。 当前较大的文件包括：dclm_100BT/000_00024.parquet（934.72 MB）；dclm_100BT/000_00026.parquet（933.82 MB）；dclm_100BT/000_00023.parquet（933.53 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。
上游文件元数据
.gitattributes2.45 KBdclm_100BT/000_00000.parquet916.92 MBdclm_100BT/000_00001.parquet909.02 MBdclm_100BT/000_00002.parquet917.98 MBdclm_100BT/000_00003.parquet922.62 MBdclm_100BT/000_00004.parquet909.24 MBdclm_100BT/000_00005.parquet918.86 MBdclm_100BT/000_00006.parquet909.84 MBdclm_100BT/000_00007.parquet915.77 MBdclm_100BT/000_00008.parquet905.19 MBdclm_100BT/000_00009.parquet924.52 MBdclm_100BT/000_00010.parquet902.15 MB
硬件建议
仓库文件元数据合计 473.96 GB。仅按下载、解压和临时文件估算，建议至少预留约 568.76 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。
注意事项
许可证显示为“odc-by”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
获取、校验与交付
咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。
本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。