橙子AI科技 Logo 橙子AI科技 需求咨询
菜单
数据集

dom-pi-pdfs-2025

gutoportelaa/dom-pi-pdfs-2025

查看上游原文 ↗
上游访问：公开 本站服务：可咨询 内容检查：AI 辅助整理并检查 许可证：cc-by-4.0 上游版本：a13b7feea92c

中文简介

gutoportelaa/dom-pi-pdfs-2025 是 gutoportelaa 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 a13b7feea92c，同步到 73983 个文件，文件元数据合计 177.38 GB；访问状态为“公开”，许可证字段为“cc-by-4.0”。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【README 卡片中文译介】

以下内容依据上游仓库 gutoportelaa/dom-pi-pdfs-2025 的固定版本 README、卡片字段和文件元数据进行中文结构化整理。它保留便于选型的关键信息，完整技术细节、代码示例和许可文本请同时查看上游原文。

【资源概览】
gutoportelaa/dom-pi-pdfs-2025 是 gutoportelaa 在 Hugging Face 发布的数据集仓库，当前卡片主要关联上游卡片所列任务。本站固定记录上游版本 a13b7feea92c，同步到 73983 个文件，文件元数据合计 177.38 GB；访问状态为“公开”，许可证字段为“cc-by-4.0”。

【适用方向】
适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

【版本与规格】
固定版本：a13b7feea92c。 任务标签：上游卡片所列任务。 语言字段：pt。 数据集卡名称：DOM-PI 2025 — PDFs-fonte do Diário Oficial dos Municípios do Piauí。 规模分类：10K<n<100K。 上游页面记录的最近更新时间：2026-06-16。

【文件信息】
上游 API 返回 73983 个文件，文件元数据合计 177.38 GB。 已保存文件清单中的主要扩展名：.pdf 99 个、无扩展名 1 个。 当前较大的文件包括：.gitattributes（10.00 MB）；carnaubais/pdfs/Assuncao do Pi/DM_5240_021_Assuncao_do_Pi_Decreto_025-24_Programacao_Financeira_pag_44.pdf（8.90 MB）；carnaubais/pdfs/Assuncao do Pi/DM_5253_052_Assuncao_do_Pi_LRF_RREO_6_Bimestre_2024_ANEXO_12_SAUDE_pag_630.pdf（2.57 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

【运行或处理环境】
仓库文件元数据合计 177.38 GB。仅按下载、解压和临时文件估算，建议至少预留约 212.86 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

【使用边界】
许可证显示为“cc-by-4.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

已有简体中文译文 · Codex 基于固定版本 README 与上游元数据生成中文结构化译介 · 2026-07-26 00:51

DOM-PI 2025 — PDFs-fonte (Diário Oficial dos Municípios do Piauí) PDFs originais** das publicações de **2025** do Diário Oficial dos Municípios do Piauí, organizados por **Território de Desenvolvimento**. São a fonte da qual o corpus textual foi extraído por OCR/parsing. **41.617 PDFs · ~70 GB.** Dataset de texto derivado (carregável, com limpeza e tiers de qualidade): `gutoportelaa/dom-pi-corpus-2025`. **Cobertura de PDFs (parcial):** presentes **7 territórios** — `tabuleiros_alto_parnaiba`, `carnaubais`, `vale_dos_rios_piaui_e_itaueiras`, `planice_litoran`, `entre_rios`, `vale_do_sambito` e `teresina`. Faltam os PDFs de **6 territórios** (`cocais`, `mangabeiras`, `serra_da_capivara`, `chapada_vale_do_rio_itaim`, `vale_do_caninde`, `vale_do_rio_guaribas`), removidos do disco local após a extração — a serem adicionados. **O texto extraído de TODOS os 13 territórios** está completo no dataset de corpus (config `extraido` = OCR bruto). Estrutura Manifesto (`manifest.parquet`) — consulta por município/data Como os PDFs são um dump de arquivos (sem colunas), há um **`manifest.parquet`** com **1 linha por PDF**: `arquivo` (caminho no repo), `territorio`, `municipio` (nome oficial canonizado), `data_publicacao` (DD/MM/AAAA) e `edicao`. Permite filtrar/baixar por município ou data: O manifesto acompanha a cobertura atual dos PDFs no repo; é regenerado quando novos territórios são adicionados. Territórios incluídos: os 12 Territórios de Desenvolvimento do corpus **+ `teresina`** (capital, diário próprio — incluída aqui como fonte; o texto de Teresina é disponibilizado à parte). Como reproduzir a extração Os PDFs alimentam o pipeline de extração híbrido (PyMuPDF → PaddleOCR-CUDA / Docling-CUDA) do projeto. O texto OCR bruto resultante está no config `extraido` do dataset de corpus; as camadas limpas/tierizadas (`default`/`curated`/`raw`) derivam dele. Veja o código e a documentação em github.com/gutoportelaa/building-a-LLM. Natureza dos documentos Boa parte é **escaneada** (

公开页仅展示原文摘录；完整模型卡或数据集卡请前往上游仓库查看。

适用场景

适合在明确数据字段、拆分和许可证后，用于上游卡片所列任务相关的训练、评测或研究。 正式使用前应先抽样检查字段、语言、重复项、敏感信息和训练/测试划分，避免只依据仓库名称判断数据质量。

规模与格式

固定版本：a13b7feea92c。 任务标签：上游卡片所列任务。 语言字段：pt。 数据集卡名称：DOM-PI 2025 — PDFs-fonte do Diário Oficial dos Municípios do Piauí。 规模分类：10K<n<100K。 上游页面记录的最近更新时间：2026-06-16。

文件说明

上游 API 返回 73983 个文件，文件元数据合计 177.38 GB。 已保存文件清单中的主要扩展名：.pdf 99 个、无扩展名 1 个。 当前较大的文件包括：.gitattributes（10.00 MB）；carnaubais/pdfs/Assuncao do Pi/DM_5240_021_Assuncao_do_Pi_Decreto_025-24_Programacao_Financeira_pag_44.pdf（8.90 MB）；carnaubais/pdfs/Assuncao do Pi/DM_5253_052_Assuncao_do_Pi_LRF_RREO_6_Bimestre_2024_ANEXO_12_SAUDE_pag_630.pdf（2.57 MB）。 仓库文件较多，本站仅保存前 100 条文件元数据；完整清单请查看上游仓库。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

  • .gitattributes10.00 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5231_073_Assuncao_do_Pi_Ata_Sessao_de_Posse_Vereadores_Prefeito_e_Vice_2025-01-01_A_pag_176.pdf1.09 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5231_074_Assuncao_do_Pi_Ata_Sessao_de_Posse_Vereadores_Prefeito_e_Vice_2025-01-01_B_pag_175.pdf1.95 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5231_075_Assuncao_do_Pi_Ata_de_Posse_Prefeito_Vice_Vereadores_e_Mesa_Diretora_2025_A_pag_307.pdf1.95 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5231_076_Assuncao_do_Pi_Ata_de_Posse_Prefeito_Vice_Vereadores_e_Mesa_Diretora_2025_B_pag_308.pdf1.42 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5232_046_Assuncao_do_Pi_Edital_de_Convocacao_001-25_pag_19.pdf1.85 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5233_055_Assuncao_do_Pi_Decreto_027-24_Credito_Suplementar_pag_8.pdf1.57 MB
  • carnaubais/pdfs/Assuncao do Pi/DM_5234_032_Assuncao_do_Pi_Portaria_001-25_pag_208.pdf823.84 KB
  • carnaubais/pdfs/Assuncao do Pi/DM_5234_033_Assuncao_do_Pi_Portaria_002-25_pag_208.pdf823.84 KB
  • carnaubais/pdfs/Assuncao do Pi/DM_5234_034_Assuncao_do_Pi_Portaria_003-25_pag_208.pdf823.84 KB
  • carnaubais/pdfs/Assuncao do Pi/DM_5234_035_Assuncao_do_Pi_Portaria_004-25_pag_208.pdf823.84 KB
  • carnaubais/pdfs/Assuncao do Pi/DM_5234_036_Assuncao_do_Pi_Portaria_005-25_pag_209.pdf886.50 KB

文件较多，本页只展示前 12 项；完整信息以上游仓库为准。

硬件建议

仓库文件元数据合计 177.38 GB。仅按下载、解压和临时文件估算，建议至少预留约 212.86 GB 可用磁盘；实际需求还取决于压缩率、缓存、数据转换和训练副本，正式处理前应以完整文件清单重新测算。

注意事项

许可证显示为“cc-by-4.0”，具体用途限制、附加政策和归属要求仍以上游原文为准。 数据集还需核对样本来源、隐私与个人信息、标签质量、地域偏差及下游模型的合规要求。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明，不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。