数据集

IndustryCorpus2

BAAI/IndustryCorpus2

查看上游原文 ↗
上游访问:需要申请 本站服务:可咨询 许可证:apache-2.0 上游版本:249ea52f1ee4

中文简介

IndustryCorpus2 按 31 个行业组织语料,并结合规则、模型筛选和质量分层,便于围绕具体行业安排预训练数据。预训练与指令微调应选择各自对应的数据集合。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【定位与用途】
IndustryCorpus2 按 31 个行业组织语料,并结合规则、模型筛选和质量分层,便于围绕具体行业安排预训练数据。预训练与指令微调应选择各自对应的数据集合。

【如何选择】
适合行业继续预训练、质量层级比较与领域采样,先选择目标行业而非整库获取。

【版本与获取范围】
选型方向:行业与专业数据。固定上游版本:249ea52f1ee412303e9741ae69fdd2109c0f8e1c。API 语言字段:en, zh。上游最近更新时间:2026-08-19(不一定为首次发布日期)。 规模、子集和组件差异见本页简介及注意事项;API 标签与卡片正文的含义分别保留。

【容易混淆的边界】
语料规模和筛选分数不等于专业结论可靠性;来源文本的时效性、个人信息和原始许可需要另行检查。 上游设置访问申请,取得所需权限后再获取相应文件。

本节是本站基于固定版本卡片编写的中文选型摘要,并非原文逐句翻译。完整操作、评测协议与许可原文请查看上游固定版本链接;模型效果及资源处理需求尚未由本站实测。

基于固定版本上游资料编写的中文选型说明 · 2026-09-20 15:07

本页提供中文选型摘要,请通过上方固定版本链接查看完整上游模型卡或数据集卡。

适用场景

适合行业继续预训练、质量层级比较与领域采样,先选择目标行业而非整库获取。

规模与格式

选型方向:行业与专业数据。固定上游版本:249ea52f1ee412303e9741ae69fdd2109c0f8e1c。API 语言字段:en, zh。上游最近更新时间:2026-08-19(不一定为首次发布日期)。 规模、子集和组件差异见本页简介及注意事项;API 标签与卡片正文的含义分别保留。

文件说明

上游 API 返回 3206 个文件,文件元数据合计 1.68 TB。 已保存文件清单中的主要扩展名:.parquet 99 个、无扩展名 1 个。 当前较大的文件包括:accommodation_catering_hotel/chinese/middle/rank_00303.parquet(882.95 MB);agriculture_forestry_animal_husbandry_fishery/chinese/high/rank_00003.parquet(882.57 MB);accommodation_catering_hotel/chinese/middle/rank_00305.parquet(880.10 MB)。 仓库文件较多,本站仅保存前 100 条文件元数据;完整清单请查看上游仓库。 此处只统计当前 Git 仓库的文件元数据,不包含外部链接、Bucket 或另行申请的完整集合。

上游文件元数据

  • .gitattributes2.36 KB
  • accommodation_catering_hotel/chinese/high/rank_00000.parquet370.71 MB
  • accommodation_catering_hotel/chinese/low/rank_00135.parquet775.10 MB
  • accommodation_catering_hotel/chinese/low/rank_00136.parquet694.55 MB
  • accommodation_catering_hotel/chinese/low/rank_00138.parquet789.64 MB
  • accommodation_catering_hotel/chinese/low/rank_00139.parquet42.04 MB
  • accommodation_catering_hotel/chinese/middle/rank_00302.parquet872.51 MB
  • accommodation_catering_hotel/chinese/middle/rank_00303.parquet882.95 MB
  • accommodation_catering_hotel/chinese/middle/rank_00304.parquet870.03 MB
  • accommodation_catering_hotel/chinese/middle/rank_00305.parquet880.10 MB
  • accommodation_catering_hotel/chinese/middle/rank_00306.parquet872.21 MB
  • accommodation_catering_hotel/chinese/middle/rank_00307.parquet862.01 MB

硬件建议

先确定配置、split、模态及文件范围,按原始文件、解压产物、缓存与处理副本分别估算磁盘。视频、音频和图像数据还需对应解码工具;建议先用少量样本验证 schema、时间同步与数据处理流程。

注意事项

语料规模和筛选分数不等于专业结论可靠性;来源文本的时效性、个人信息和原始许可需要另行检查。 上游设置访问申请,取得所需权限后再获取相应文件。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件,并在合法访问权限、许可证及平台规则允许的前提下,协助海内外下载、完整性校验及网盘或硬盘交付;本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明,不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。