橙子AI科技 Logo 橙子AI科技 需求咨询
菜单
数据集

RoadmapBench

UnipatAI/RoadmapBench

查看上游原文 ↗
上游访问：公开 本站服务：可咨询 内容检查：AI 辅助整理并检查 许可证：mit 上游版本：59184e779909

中文简介

UnipatAI/RoadmapBench 是 UnipatAI 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 59184e779909，同步到 63334 个文件，文件元数据合计 431.88 MB；访问状态为“公开”，许可证字段为“mit”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 UnipatAI/RoadmapBench 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
UnipatAI/RoadmapBench 是 UnipatAI 在 Hugging Face 发布的数据集仓库，当前卡片主要关联文本生成与推理。本站固定记录上游版本 59184e779909，同步到 63334 个文件，文件元数据合计 431.88 MB；访问状态为“公开”，许可证字段为“mit”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：59184e779909。 任务标签：文本生成与推理。 语言字段：en。 规模分类：n<1K。 上游页面记录的最近更新时间：2026-05-12。

【文件信息】
上游 API 返回 63334 个文件，文件元数据合计 431.88 MB。 已保存文件清单中的主要扩展名：.rs 72 个、无扩展名 9 个、.yml 7 个、.md 5 个、.toml 4 个、.patch 1 个。 当前较大的文件包括：dsl-2.1.0-roadmap/environment/changes.patch（589.17 KB）；dsl-2.1.0-roadmap/environment/repo/CHANGELOG.md（78.42 KB）；dsl-2.1.0-roadmap/environment/repo/diesel/src/mysql/connection/bind.rs（77.10 KB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 431.88 MB。仅按下载、解压和临时文件估算，建议至少预留约 518.25 MB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

RoadmapBench A benchmark for evaluating AI coding agents on multi-target, long-horizon software development tasks derived from open-source project version upgrades. Overview RoadmapBench contains **115 tasks** spanning **17 open-source repositories** across **5 programming languages** (Python, TypeScript, Go, Rust, C++). Each task requires an agent to implement multiple interdependent features that correspond to a real version upgrade of the target project. Quick Start Prerequisites Docker (>= 20.0) Python >= 3.9 Harbor (recommended for agent evaluation) 1. Download Dataset **Note**: Pre-built Docker images are available on DockerHub (`znpt/roadmapbench-*`). When using Harbor (recommended), images are pulled automatically — no local build required. The Docker images contain the full git history (truncated at V_OLD) for agent use, while the HuggingFace dataset provides source code without git history for smaller download size. 2. Run Agent Evaluation (Recommended: Harbor) Harbor provides out-of-the-box support for running AI agents against RoadmapBench tasks. Terminus-2 agent:** OpenHands agent:** See full documentation for advanced options (thinking parameters, network isolation, metrics computation). Task Structure Languages & Repositories | Language | Repositories | Tasks | |----------|-------------|-------| | Python | Optuna, PyG, spaCy, Polars, Falcon | 41 | | TypeScript | MikroORM, Prisma, Valibot | 22 | | C++ | Glaze, thread-pool | 20 | | Go | Kitex, Fiber, Fyne | 17 | | Rust | Ratatui, Diesel, Slint, Ruff | 15 | Metrics **Resolved Rate (RR)**: Fraction of tasks where all targets pass (reward = 1.0). RR = (1/N) · Σ t 𝟙[s t = 1] **Completion Score (CS)**: Mean per-task reward, crediting partial progress. CS = (1/N) · Σ t s t Per-task reward:** For task *t* with *K* targets, each target *k* has weight w k and binary result r k ∈ {0, 1}: s t = Σ(w k · r k ) / Σ(w k ) License MIT

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于文本生成与推理相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：59184e779909。 任务标签：文本生成与推理。 语言字段：en。 规模分类：n<1K。 上游页面记录的最近更新时间：2026-05-12。

文件说明

上游 API 返回 63334 个文件，文件元数据合计 431.88 MB。 已保存文件清单中的主要扩展名：.rs 72 个、无扩展名 9 个、.yml 7 个、.md 5 个、.toml 4 个、.patch 1 个。 当前较大的文件包括：dsl-2.1.0-roadmap/environment/changes.patch（589.17 KB）；dsl-2.1.0-roadmap/environment/repo/CHANGELOG.md（78.42 KB）；dsl-2.1.0-roadmap/environment/repo/diesel/src/mysql/connection/bind.rs（77.10 KB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

  • .gitattributes6.60 KB
  • dsl-2.1.0-roadmap/environment/changes.patch589.17 KB
  • dsl-2.1.0-roadmap/environment/Dockerfile2.97 KB
  • dsl-2.1.0-roadmap/environment/repo/.cargo/audit.toml149 B
  • dsl-2.1.0-roadmap/environment/repo/.editorconfig468 B
  • dsl-2.1.0-roadmap/environment/repo/.env.sample833 B
  • dsl-2.1.0-roadmap/environment/repo/.github/FUNDING.yml26 B
  • dsl-2.1.0-roadmap/environment/repo/.github/ISSUE_TEMPLATE/bug_report.md1.61 KB
  • dsl-2.1.0-roadmap/environment/repo/.github/ISSUE_TEMPLATE/config.yml800 B
  • dsl-2.1.0-roadmap/environment/repo/.github/workflows/audit.yml325 B
  • dsl-2.1.0-roadmap/environment/repo/.github/workflows/benches.yml3.08 KB
  • dsl-2.1.0-roadmap/environment/repo/.github/workflows/ci.yml20.83 KB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 431.88 MB。仅按下载、解压和临时文件估算，建议至少预留约 518.25 MB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“mit”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。