数据集

github-code-clean

codeparrot/github-code-clean

查看上游原文 ↗
上游访问:公开 本站服务:可咨询 内容检查:AI 辅助整理并检查 许可证:apache-2.0 上游版本:c48d40f9e70f

中文简介

codeparrot/github-code-clean 是 codeparrot 在 Hugging Face 发布的数据集仓库,当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 c48d40f9e70f,同步到 883 个文件,文件元数据合计 362.50 GB;访问状态为“公开”,许可证字段为“apache-2.0”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 codeparrot/github-code-clean 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息,完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
codeparrot/github-code-clean 是 codeparrot 在 Hugging Face 发布的数据集仓库,当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 c48d40f9e70f,同步到 883 个文件,文件元数据合计 362.50 GB;访问状态为“公开”,许可证字段为“apache-2.0”。

【适用方向】
适合评估代码生成、仓库级理解、软件工程智能体和开发辅助流程。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本:c48d40f9e70f。 任务标签:上游卡片所列任务。 上游页面记录的最近更新时间:2022-07-05。

【文件信息】
上游 API 返回 883 个文件,文件元数据合计 362.50 GB。 已保存文件清单中的主要扩展名:.parquet 99 个、无扩展名 1 个。 当前较大的文件包括:data/train-00015-of-00880.parquet(347.46 MB);data/train-00038-of-00880.parquet(347.19 MB);data/train-00042-of-00880.parquet(346.87 MB)。 仓库文件较多,本站仅保存前 100 条文件元数据;完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 362.50 GB。仅按下载、解压和临时文件估算,建议至少预留约 435.00 GB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“apache-2.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

This is a cleaner version of Github-code dataset, we add the following filters: Average line length 0.25 Remove auto-generated files (keyword search) 3.39M files are removed making up 2.94% of the dataset.

公开页仅展示原文摘录;完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合评估代码生成、仓库级理解、软件工程智能体和开发辅助流程。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。

规模与格式

固定版本:c48d40f9e70f。 任务标签:上游卡片所列任务。 上游页面记录的最近更新时间:2022-07-05。

文件说明

上游 API 返回 883 个文件,文件元数据合计 362.50 GB。 已保存文件清单中的主要扩展名:.parquet 99 个、无扩展名 1 个。 当前较大的文件包括:data/train-00015-of-00880.parquet(347.46 MB);data/train-00038-of-00880.parquet(347.19 MB);data/train-00042-of-00880.parquet(346.87 MB)。 仓库文件较多,本站仅保存前 100 条文件元数据;完整清单请查看上游仓库。

上游文件元数据

  • .gitattributes1.53 KB
  • data/train-00000-of-00880.parquet338.67 MB
  • data/train-00001-of-00880.parquet344.68 MB
  • data/train-00002-of-00880.parquet338.71 MB
  • data/train-00003-of-00880.parquet344.26 MB
  • data/train-00004-of-00880.parquet335.41 MB
  • data/train-00005-of-00880.parquet343.38 MB
  • data/train-00006-of-00880.parquet339.11 MB
  • data/train-00007-of-00880.parquet340.31 MB
  • data/train-00008-of-00880.parquet338.27 MB
  • data/train-00009-of-00880.parquet340.94 MB
  • data/train-00010-of-00880.parquet340.97 MB

硬件建议

仓库文件元数据合计 362.50 GB。仅按下载、解压和临时文件估算,建议至少预留约 435.00 GB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“apache-2.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件,并在合法访问权限、许可证及平台规则允许的前提下,协助海内外下载、完整性校验及网盘或硬盘交付;本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明,不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。