橙子AI科技 Logo 橙子AI科技 需求咨询
菜单
数据集

Ultra-FineWeb-L3

openbmb/Ultra-FineWeb-L3

查看上游原文 ↗
上游访问：公开 本站服务：可咨询 内容检查：AI 辅助整理并检查 许可证：apache-2.0 上游版本：c68ab81ad03b

中文简介

openbmb/Ultra-FineWeb-L3 是 openbmb 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 c68ab81ad03b，同步到 1771 个文件，文件元数据合计 1.73 TB；访问状态为“公开”，许可证字段为“apache-2.0”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 openbmb/Ultra-FineWeb-L3 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
openbmb/Ultra-FineWeb-L3 是 openbmb 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 c68ab81ad03b，同步到 1771 个文件，文件元数据合计 1.73 TB；访问状态为“公开”，许可证字段为“apache-2.0”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：c68ab81ad03b。 任务标签：文本生成与推理。 语言字段：en, zh。 数据集卡名称：Ultra-FineWeb-L3。 规模分类：100B<n<1T。 上游页面记录的最近更新时间：2026-05-28。

【文件信息】
上游 API 返回 1771 个文件，文件元数据合计 1.73 TB。 已保存文件清单中的主要扩展名：.parquet 96 个、.png 3 个、无扩展名 1 个。 当前较大的文件包括：data/ultrafineweb_en_l3/multi_style/part-00022-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）；data/ultrafineweb_en_l3/multi_style/part-00066-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）；data/ultrafineweb_en_l3/multi_style/part-00033-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 1.73 TB。仅按下载、解压和临时文件估算，建议至少预留约 2.07 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“apache-2.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

Ultra-FineWeb-L3 📜 Ultra-FineWeb Technical Report | 📦 UltraData Collection | 🌐 UltraData | 🤗 MiniCPM5 Series English | 中文 📚 Introduction Ultra-FineWeb-L3*** is the **L3 refined data** for general high-quality web data within UltraData's L0-L4 tiered data management framework. Moving beyond L2 quality selection, it transforms high-value web corpora into structured, high-learnability training data with clearer reasoning signals and richer educational styles. Built on top of Ultra-FineWeb, it leverages MiniCPM4 and Qwen3 to perform **Q&A Pair Generation** and **Multi-style Rewriting**, producing **400B+ English tokens** and **200B+ Chinese tokens**. To our best knowledge, the Chinese portion is the **largest open-source Chinese pre-training synthetic dataset** to date. As high-tier data designed for late-stage training efficiency, it serves as key training data for the decay phase of MiniCPM5-1B. Ultra-FineWeb: Ultra-FineWeb, a **large-scale, high-quality, and efficiently-filtered dataset**, with 1T English tokens and 120B Chinese tokens. Ultra-FineWeb-classifier: Ultra-FineWeb classifier, for filtering high-quality data from web corpora. Ultra-FineWeb-L3: the **L3 refined data** built on **Ultra-FineWeb** via **Q&A Pair Generation** and **Multi-style Rewriting**, with **400B+ English** and **200B+ Chinese** tokens—to our best knowledge, the largest open-source Chinese pre-training synthetic corpus to date. 📢 What's New **[2026.05.28]** The ***Ultra-FineWeb-L3*** dataset is released! The **L3 refined data** built on **Ultra-FineWeb** via **Q&A Pair Generation** and **Multi-style Rewriting**, with **400B+ English** and **200B+ Chinese** tokens. To our best knowledge, it is the largest open-source Chinese pre-training synthetic corpus to date. 🚀🚀🚀 **[2026.05.25]** ***MiniCPM5-1B is released!***, the first model in the MiniCPM5 series. It is a dense 1B Transformer built for on-device, local deployment, and resource-constrained scenarios, reaching 1B-class open-source SOTA

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：c68ab81ad03b。 任务标签：文本生成与推理。 语言字段：en, zh。 数据集卡名称：Ultra-FineWeb-L3。 规模分类：100B<n<1T。 上游页面记录的最近更新时间：2026-05-28。

文件说明

上游 API 返回 1771 个文件，文件元数据合计 1.73 TB。 已保存文件清单中的主要扩展名：.parquet 96 个、.png 3 个、无扩展名 1 个。 当前较大的文件包括：data/ultrafineweb_en_l3/multi_style/part-00022-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）；data/ultrafineweb_en_l3/multi_style/part-00066-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）；data/ultrafineweb_en_l3/multi_style/part-00033-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet（1.00 GB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

  • .gitattributes2.45 KB
  • assets/tiered-data-management.png343.53 KB
  • assets/ultra-fineweb-l3-experiment.png78.12 KB
  • assets/ultra-fineweb-l3-logo.png149.30 KB
  • data/ultrafineweb_en_l3/multi_style/part-00000-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00001-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00002-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00003-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00004-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00005-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00006-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB
  • data/ultrafineweb_en_l3/multi_style/part-00007-f36f5a53-4a77-434b-b9bc-67ed69b93fe2-c000.snappy.parquet1.00 GB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 1.73 TB。仅按下载、解压和临时文件估算，建议至少预留约 2.07 TB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“apache-2.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。