橙子AI科技 Logo 橙子AI科技 需求咨询
菜单
数据集

dclm-baseline-1.0

mlfoundations/dclm-baseline-1.0

查看上游原文 ↗
上游访问：公开 本站服务：可咨询 内容检查：AI 辅助整理并检查 许可证：cc-by-4.0 上游版本：a3b142c183ae

中文简介

mlfoundations/dclm-baseline-1.0 是 mlfoundations 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 a3b142c183ae，同步到 27840 个文件，文件元数据合计 6.55 TB；访问状态为“公开”，许可证字段为“cc-by-4.0”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 mlfoundations/dclm-baseline-1.0 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
mlfoundations/dclm-baseline-1.0 是 mlfoundations 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 a3b142c183ae，同步到 27840 个文件，文件元数据合计 6.55 TB；访问状态为“公开”，许可证字段为“cc-by-4.0”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：a3b142c183ae。 任务标签：上游卡片所列任务。 上游页面记录的最近更新时间：2024-07-22。

【文件信息】
上游 API 返回 27840 个文件，文件元数据合计 6.55 TB。 已保存文件清单中的主要扩展名：.zst 99 个、无扩展名 1 个。 当前较大的文件包括：global-shard_01_of_10/local-shard_0_of_10/shard_00000054_processed.jsonl.zst（271.94 MB）；global-shard_01_of_10/local-shard_0_of_10/shard_00000020_processed.jsonl.zst（271.73 MB）；global-shard_01_of_10/local-shard_0_of_10/shard_00000024_processed.jsonl.zst（266.90 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 6.55 TB。仅按下载、解压和临时文件估算，建议至少预留约 7.86 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“cc-by-4.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

DCLM-baseline DCLM-baseline is a 4T token / 3B document pretraining dataset that achieves strong performance on language model benchmarks. Below are comparisions of model trained on DCLM-baseline with other models in the 7B regime. | Model | Params | Tokens | Open dataset? | CORE | MMLU | EXTENDED | |---------------|--------|--------|---------------|----------|----------|----------| | **Open weights, closed datasets** | | | | | | | | Llama2 | 7B | 2T | ✗ | 49.2 | 45.8 | 34.1 | | DeepSeek | 7B | 2T | ✗ | 50.7 | 48.5 | 35.3 | | Mistral-0.3 | 7B | ? | ✗ | 57.0 | 62.7 | 45.1 | | QWEN-2 | 7B | ? | ✗ | 57.5 | **71.9** | 50.5 | | Llama3 | 8B | 15T | ✗ | 57.6 | 66.2 | 46.3 | | Gemma | 8B | 6T | ✗ | 57.8 | 64.3 | 44.6 | | Phi-3 | 7B | ? | ✗ | **61.0** | 69.9 | **57.9** | | **Open weights, open datasets** | | | | | | | | Falcon | 7B | 1T | ✓ | 44.1 | 27.4 | 25.1 | | Amber | 7B | 1.2T | ✓ | 39.8 | 27.9 | 22.3 | | Crystal | 7B | 1.2T | ✓ | 48.0 | 48.2 | 33.2 | | OLMo-1.7 | 7B | 2.1T | ✓ | 47.0 | 54.0 | 34.2 | | MAP-Neo | 7B | 4.5T | ✓ | **50.2** | **57.1** | **40.4** | | **Models we trained** | | | | | | | | FineWeb edu | 7B | 0.14T | ✓ | 38.7 | 26.3 | 22.1 | | FineWeb edu | 7B | 0.28T | ✓ | 41.9 | 37.3 | 24.5 | | **DCLM-BASELINE** | 7B | 0.14T | ✓ | 44.1 | 38.3 | 25.0 | | **DCLM-BASELINE** | 7B | 0.28T | ✓ | 48.9 | 50.8 | 31.8 | | **DCLM-BASELINE** | 7B | 2.6T | ✓ | **57.1** | **63.7** | **45.4** | Dataset Details Dataset Description **Curated by:** The DCLM Team **Language(s) (NLP):** English **License:** CC-by-4.0 Dataset Sources **Repository:** https://datacomp.ai/dclm **Paper:**: https://arxiv.org/abs/2406.11794 **Construction Code**: https://github.com/mlfoundations/dclm Uses Direct Use DCLM-Baseline is intended to be used as a research baseline for the DCLM benchmark. It demonstrates the importance of data curation in training performant language models. Out-of-Scope Use DCLM-Baseline is not intended for training production-ready models or for specific domains such as co

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：a3b142c183ae。 任务标签：上游卡片所列任务。 上游页面记录的最近更新时间：2024-07-22。

文件说明

上游 API 返回 27840 个文件，文件元数据合计 6.55 TB。 已保存文件清单中的主要扩展名：.zst 99 个、无扩展名 1 个。 当前较大的文件包括：global-shard_01_of_10/local-shard_0_of_10/shard_00000054_processed.jsonl.zst（271.94 MB）；global-shard_01_of_10/local-shard_0_of_10/shard_00000020_processed.jsonl.zst（271.73 MB）；global-shard_01_of_10/local-shard_0_of_10/shard_00000024_processed.jsonl.zst（266.90 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

  • .gitattributes3.03 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000000_processed.jsonl.zst134.76 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000001_processed.jsonl.zst207.95 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000002_processed.jsonl.zst223.22 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000003_processed.jsonl.zst226.96 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000004_processed.jsonl.zst203.28 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000005_processed.jsonl.zst186.50 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000006_processed.jsonl.zst207.98 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000007_processed.jsonl.zst190.44 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000008_processed.jsonl.zst244.44 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000009_processed.jsonl.zst178.15 MB
  • global-shard_01_of_10/local-shard_0_of_10/shard_00000010_processed.jsonl.zst190.11 MB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 6.55 TB。仅按下载、解压和临时文件估算，建议至少预留约 7.86 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“cc-by-4.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。