Ultra-FineWeb

中文简介

Ultra-FineWeb从中英文网页数据中筛选高质量文本，卡片描述约 1T 英文与 120B 中文 token，用于 MiniCPM 系列预训练。

适用场景

适合中英文预训练混合、网页质量筛选和语料对照研究，按语言子集规划获取范围。

规模与格式

选型方向：预训练与后训练数据。固定上游版本：02c85641e3d19a854be2e09139c25adaa9518063。API 任务字段：text-generation。API 语言字段：en, zh。上游最近更新时间：2026-08-20（不一定为首次发布日期）。 规模、子集和组件差异见本页简介及注意事项；API 标签与卡片正文的含义分别保留。

文件说明

上游 API 返回 64669 个文件，文件元数据合计 9.29 TB。 已保存文件清单中的主要扩展名：.parquet 90 个、.png 9 个、无扩展名 1 个。 当前较大的文件包括：data/ultrafineweb_en/ultrafineweb-en-part-0051-of-2048.parquet（1.22 GB）；data/ultrafineweb_en/ultrafineweb-en-part-0069-of-2048.parquet（1.22 GB）；data/ultrafineweb_en/ultrafineweb-en-part-0015-of-2048.parquet（1.22 GB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。 此处只统计当前 Git 仓库的文件元数据，不包含外部链接、Bucket 或另行申请的完整集合。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

• .gitattributes2.49 KB
• assets/densing-law-plot.png283.41 KB
• assets/densing-law-table.png332.33 KB
• assets/individual-chinese-table.png45.04 KB
• assets/individual-english-table.png97.38 KB
• assets/individual-plot.png158.02 KB
• assets/mix-plot.png265.90 KB
• assets/mix-table.png279.26 KB
• assets/ultra-fineweb-logo.png137.82 KB
• assets/ultra-fineweb-pipeline.png272.53 KB
• data/ultrafineweb_en/ultrafineweb-en-part-0001-of-2048.parquet1.21 GB
• data/ultrafineweb_en/ultrafineweb-en-part-0002-of-2048.parquet1.21 GB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

先确定配置、split、模态及文件范围，按原始文件、解压产物、缓存与处理副本分别估算磁盘。视频、音频和图像数据还需对应解码工具；建议先用少量样本验证 schema、时间同步与数据处理流程。

注意事项

当前仓库与 L1、L3 衍生仓库是不同层级；网页文本可能含重复、偏差或敏感信息，需要按用途进一步处理。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

• 数据集获取、核对与国内交付服务
• 数据集怎么下载：版本、分片、许可证与完整性校验
• 企业和高校批量获取模型与数据集：只需链接或准确全称
• 100GB、1TB 以上模型如何用网盘或硬盘交付