橙子AI科技 Logo 橙子AI科技 需求咨询
菜单
数据集

ettin-pretraining-data

jhu-clsp/ettin-pretraining-data

查看上游原文 ↗
上游访问：公开 本站服务：可咨询 内容检查：AI 辅助整理并检查 许可证：mit 上游版本：7c1cc45be268

中文简介

jhu-clsp/ettin-pretraining-data 是 jhu-clsp 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 7c1cc45be268，同步到 33140 个文件，文件元数据合计 2.43 TB；访问状态为“公开”，许可证字段为“mit”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 jhu-clsp/ettin-pretraining-data 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
jhu-clsp/ettin-pretraining-data 是 jhu-clsp 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 7c1cc45be268，同步到 33140 个文件，文件元数据合计 2.43 TB；访问状态为“公开”，许可证字段为“mit”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：7c1cc45be268。 任务标签：文本生成与推理。 语言字段：en。 上游页面记录的最近更新时间：2025-07-18。

【文件信息】
上游 API 返回 33140 个文件，文件元数据合计 2.43 TB。 已保存文件清单中的主要扩展名：.gz 50 个、.log 49 个、无扩展名 1 个。 当前较大的文件包括：algebraic-stack/algebraic_stack_train_0002-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.24 GB）；algebraic-stack/algebraic_stack_train_0007-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.23 GB）；algebraic-stack/algebraic_stack_train_0000-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.17 GB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 2.43 TB。仅按下载、解压和临时文件估算，建议至少预留约 2.92 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

Ettin Pre-training Data **Phase 1 of 3**: Diverse pre-training data mixture (1.7T tokens) used to train the Ettin model suite. This dataset contains the pre-training phase data used to train all Ettin encoder and decoder models. The data is provided in **MDS format** ready for use with Composer and the ModernBERT training repository. 📊 Data Composition | Data Source | Tokens (B) | Percentage | Description | |:------------|:-----------|:-----------|:------------| | DCLM | 837.2 | 49.1% | High-quality web crawl data | | CC Head | 356.6 | 20.9% | Common Crawl head documents | | Starcoder | 263.9 | 15.5% | Code repositories and files | | Reddit | 80.3 | 4.7% | Social discussion threads | | PeS2o | 57.3 | 3.4% | Scientific papers | | Arxiv | 28.0 | 1.6% | Academic preprints | | StackExchange | 19.6 | 1.2% | Q&A forums | | Tulu Flan | 16.6 | 1.0% | Instruction-following data | | Open-Web-Math | 12.7 | 0.7% | Mathematical content | | Algebraic StackExchange | 12.6 | 0.7% | Math Q&A | | CC News | 7.3 | 0.4% | News articles | | Wikipedia | 7.3 | 0.4% | Encyclopedia articles | | **Total** | **1,704.7** | **100.0%** | Diverse mixture for foundation training | 🚀 Usage For pre-training, see the ModernBERT repo: https://github.com/AnswerDotAI/ModernBERT Direct Access 📁 Structure Each folder contains one data source in MDS (Mosaic Data Shard) format: `arxiv/` - Academic papers from ArXiv `books/` - Literature and reference books `cc_head/` - High-quality Common Crawl documents `cc_news/` - News articles from Common Crawl `dclm/` - DataComp-LM filtered web data `open_web_math/` - Mathematical web content `algebraic_stackexchange/` - Math Q&A from StackExchange `pes2o/` - Scientific papers (PeS2o dataset) `reddit/` - Reddit discussion threads `stackexchange/` - General StackExchange Q&A `starcoder/` - Code from GitHub repositories `tulu_flan/` - Instruction-following examples `wikipedia/` - Wikipedia articles 🔗 Related Resources **Models**: Ettin Model Suite (17M-1B parameters) **Ph

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：7c1cc45be268。 任务标签：文本生成与推理。 语言字段：en。 上游页面记录的最近更新时间：2025-07-18。

文件说明

上游 API 返回 33140 个文件，文件元数据合计 2.43 TB。 已保存文件清单中的主要扩展名：.gz 50 个、.log 49 个、无扩展名 1 个。 当前较大的文件包括：algebraic-stack/algebraic_stack_train_0002-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.24 GB）；algebraic-stack/algebraic_stack_train_0007-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.23 GB）；algebraic-stack/algebraic_stack_train_0000-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz（1.17 GB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

  • .gitattributes2.36 KB
  • algebraic-stack/algebraic_stack_train_0000-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz1.17 GB
  • algebraic-stack/algebraic_stack_train_0000-tokenized-chunked-1024-512-128-backfill-nodups.log96.00 KB
  • algebraic-stack/algebraic_stack_train_0001-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz1.11 GB
  • algebraic-stack/algebraic_stack_train_0001-tokenized-chunked-1024-512-128-backfill-nodups.log90.86 KB
  • algebraic-stack/algebraic_stack_train_0002-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz1.24 GB
  • algebraic-stack/algebraic_stack_train_0002-tokenized-chunked-1024-512-128-backfill-nodups.log87.07 KB
  • algebraic-stack/algebraic_stack_train_0003-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz267.09 MB
  • algebraic-stack/algebraic_stack_train_0003-tokenized-chunked-1024-512-128-backfill-nodups.log41.51 KB
  • algebraic-stack/algebraic_stack_train_0004-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz124.95 MB
  • algebraic-stack/algebraic_stack_train_0004-tokenized-chunked-1024-512-128-backfill-nodups.log10.20 KB
  • algebraic-stack/algebraic_stack_train_0005-tokenized-chunked-1024-512-128-backfill-nodups.jsonl.tar.gz477.24 MB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 2.43 TB。仅按下载、解压和临时文件估算，建议至少预留约 2.92 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。