中文简介
TIGER-Lab/MMLU-Pro 是 TIGER-Lab 在 Hugging Face 发布的数据集仓库，当前卡片主要关联问答。本站固定记录上游版本 b189ec765aa7，同步到 7 个文件，文件元数据合计 127.58 MB；访问状态为“公开”，许可证字段为“mit”。
上游模型卡 / 数据集卡
【README 卡片中文译介】
以下内容依据上游仓库 TIGER-Lab/MMLU-Pro 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。
【资源概览】
TIGER-Lab/MMLU-Pro 是 TIGER-Lab 在 Hugging Face 发布的数据集仓库，当前卡片主要关联问答。本站固定记录上游版本 b189ec765aa7，同步到 7 个文件，文件元数据合计 127.58 MB；访问状态为“公开”，许可证字段为“mit”。
【适用方向】
适合在明确数据字段、拆分和许可证后，用于问答相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。
【版本与规格】
固定版本：b189ec765aa7。 任务标签：问答。 语言字段：en。 数据集卡名称：MMLU-Pro。 规模分类：10K<n<100K。 上游页面记录的最近更新时间：2026-05-02。
【文件信息】
上游 API 返回 7 个文件，文件元数据合计 127.58 MB。 已保存文件清单中的主要扩展名：.parquet 2 个、.py 2 个、.md 1 个、.yaml 1 个、无扩展名 1 个。 当前较大的文件包括：data/test-00000-of-00001.parquet（3.95 MB）；data/validation-00000-of-00001.parquet（41.85 KB）；README.md（11.45 KB）。
【运行或处理环境】
仓库文件元数据合计 127.58 MB。仅按下载、解压和临时文件估算，建议至少预留约 153.10 MB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。
【使用边界】
许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
MMLU-Pro Dataset MMLU-Pro dataset is a more **robust** and **challenging** massive multi-task understanding dataset tailored to more rigorously benchmark large language models' capabilities. This dataset contains 12K complex questions across various disciplines. |**Github** | **🏆Leaderboard** | **📖Paper** | 🚀 What's New **\[2026.03.11\]** Added more cutting-edge frontier models to the leaderboard, including the Claude-4.6 series, Seed2.0 series, Qwen3.5 series, and Gemini-3.1-Pro, among others. Stay tuned for updated rankings and analysis. **\[2026.01.18\]** Fixed leading space issue in answer options (affected chemistry, physics, and other STEM subsets). This formatting inconsistency could have been exploited as a shortcut. Thanks to @giffmana and @fujikanaeda for identifying this. **\[2025.10.25\]** Posted a consolidated note on Health-category issues and minor category updates (does not change overall micro-averaged scores; may slightly affect per-category metrics, mainly Health/Psychology). See details: https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro/discussions/36. Special thanks to @mkieffer for the professional and meticulous review. **\[2025.04.06\]** We corrected 15 answers in medical domain based on the recommendations of medical professionals, thanks to Dr. Robert (Bob) Hoyt and the subspecialists from the Mayo Clinic and INOVA. **\[2024.10.16\]** We have added Gemini-1.5-Flash-002, Gemini-1.5-Pro-002, Jamba-1.5-Large, Llama-3.1-Nemotron-70B-Instruct-HF and Ministral-8B-Instruct-2410 to our leaderboard. **\[2024.09.07\]** We have added Reflection-Llama-3.1-70B, Phi-3.5-mini-instruct and Grok-2 to our leaderboard. **\[2024.09.06\]** We corrected some errors with IDs 5457, 2634, 2817, 1289, 2394, and 7063. **\[2024.08.07\]** We corrected some errors in the math and engineering disciplines with IDs 7780, 8015, 8410, 8618, etc. **\[2024.07.20\]** We have added GPT-4o-mini and Mathstral-7B-v0.1 to our leaderboard. **\[2024.07.18\]** We have corrected some t
适用场景
适合在明确数据字段、拆分和许可证后，用于问答相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。
规模与格式
固定版本：b189ec765aa7。 任务标签：问答。 语言字段：en。 数据集卡名称：MMLU-Pro。 规模分类：10K<n<100K。 上游页面记录的最近更新时间：2026-05-02。
文件说明
上游 API 返回 7 个文件，文件元数据合计 127.58 MB。 已保存文件清单中的主要扩展名：.parquet 2 个、.py 2 个、.md 1 个、.yaml 1 个、无扩展名 1 个。 当前较大的文件包括：data/test-00000-of-00001.parquet（3.95 MB）；data/validation-00000-of-00001.parquet（41.85 KB）；README.md（11.45 KB）。
上游文件元数据
.gitattributes2.25 KBdata/test-00000-of-00001.parquet3.95 MBdata/validation-00000-of-00001.parquet41.85 KBeval.yaml590 BREADME.md11.45 KBrun_claude3.py2.65 KBrun_gpt4o.py2.91 KB
硬件建议
仓库文件元数据合计 127.58 MB。仅按下载、解压和临时文件估算，建议至少预留约 153.10 MB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。
注意事项
许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。
获取、校验与交付
咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。
本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。