中文简介
EleutherAI/bergson-wikitext-512-chunks 是 EleutherAI 在 Hugging Face 发布的数据集仓库,当前卡片主要关联文本生成与推理。本站固定记录上游版本 f4079a7ab900,同步到 4 个文件,文件元数据合计 6.18 MB;访问状态为“公开”,许可证字段为“cc-by-sa-4.0”。
上游模型卡 / 数据集卡
【README 卡片中文译介】
以下内容依据上游仓库 EleutherAI/bergson-wikitext-512-chunks 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息,完整技术细节、代码示例和许可文本请同时查看上游原文。
【资源概览】
EleutherAI/bergson-wikitext-512-chunks 是 EleutherAI 在 Hugging Face 发布的数据集仓库,当前卡片主要关联文本生成与推理。本站固定记录上游版本 f4079a7ab900,同步到 4 个文件,文件元数据合计 6.18 MB;访问状态为“公开”,许可证字段为“cc-by-sa-4.0”。
【适用方向】
适合在明确数据字段、拆分和许可证后,用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。
【版本与规格】
固定版本:f4079a7ab900。 任务标签:文本生成与推理。 语言字段:en。 数据集卡名称:Bergson wikitext 512-token chunks。 规模分类:1K<n<10K。 上游页面记录的最近更新时间:2026-07-08。
【文件信息】
上游 API 返回 4 个文件,文件元数据合计 6.18 MB。 已保存文件清单中的主要扩展名:.parquet 2 个、.md 1 个、无扩展名 1 个。 当前较大的文件包括:data/train-00000-of-00001.parquet(5.87 MB);data/test-00000-of-00001.parquet(324.24 KB);.gitattributes(2.45 KB)。
【运行或处理环境】
仓库文件元数据合计 6.18 MB。仅按下载、解压和临时文件估算,建议至少预留约 7.42 MB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。
【使用边界】
许可证显示为“cc-by-sa-4.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
bergson-wikitext-512-chunks Wikitext-2 (`Salesforce/wikitext`, `wikitext-2-raw-v1`) pre-chunked into 512-GPT-2-token rows for training-data-attribution experiments with bergson, replicating the data setup of the MAGIC paper (Ilyas & Engstrom 2025, arXiv:2504.16430): each row is one attribution unit / query. **train**: first 4,608 chunks of the concatenated, GPT-2-tokenized wikitext-2 train split (empty rows dropped before concatenation). **test**: first 256 chunks of the wikitext-2 test split, same procedure. Each row's `text` field decodes/re-tokenizes to exactly 512 GPT-2 tokens. Built by `scripts/build_chunked_wikitext.py` in the bergson repo.
适用场景
适合在明确数据字段、拆分和许可证后,用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分,避免只依据仓库名称判断数据质量。
规模与格式
固定版本:f4079a7ab900。 任务标签:文本生成与推理。 语言字段:en。 数据集卡名称:Bergson wikitext 512-token chunks。 规模分类:1K<n<10K。 上游页面记录的最近更新时间:2026-07-08。
文件说明
上游 API 返回 4 个文件,文件元数据合计 6.18 MB。 已保存文件清单中的主要扩展名:.parquet 2 个、.md 1 个、无扩展名 1 个。 当前较大的文件包括:data/train-00000-of-00001.parquet(5.87 MB);data/test-00000-of-00001.parquet(324.24 KB);.gitattributes(2.45 KB)。
上游文件元数据
.gitattributes2.45 KBdata/test-00000-of-00001.parquet324.24 KBdata/train-00000-of-00001.parquet5.87 MBREADME.md863 B
硬件建议
仓库文件元数据合计 6.18 MB。仅按下载、解压和临时文件估算,建议至少预留约 7.42 MB 可用磁盘;实际需求还取决于压缩率、缓存、数据转换和训练副本,正式处理前应以完整文件清单重新测算。
注意事项
许可证显示为“cc-by-sa-4.0”,具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
获取、校验与交付
咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件,并在合法访问权限、许可证及平台规则允许的前提下,协助海内外下载、完整性校验及网盘或硬盘交付;本官网本身不托管或下载资源文件。
本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明,不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。