Qwen3.8-27B-GSQ-RCO-GGUF

中文简介

ISTA-DASLab 提供的 Qwen3.8-27B GSQ-RCO GGUF 为不同张量分配不同量化精度，在总文件预算内进行搜索。仓库同时提供视觉投影和可选 MTP 构建，适合研究非均匀量化。

适用场景

用于相同容量预算下的量化精度对照；多模态任务同时选取匹配的 mmproj 文件。

模型参数

选型方向：多模态理解。固定上游版本：d562806dbafae37109975e970aae91b43e73b440。API 任务字段：image-text-to-text。上游最近更新时间：2026-09-02（不一定为首次发布日期）。 规模、子集和组件差异见本页简介及注意事项；API 标签与卡片正文的含义分别保留。

文件说明

上游 API 返回 26 个文件，文件元数据合计 75.84 GB。 已保存文件清单中的主要扩展名：.gguf 10 个、.txt 8 个、.png 6 个、.md 1 个、无扩展名 1 个。 当前较大的文件包括：Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf（11.29 GB）；Qwen3.8-27B-GSQ-RCO-IQ3_S.gguf（10.96 GB）；Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf（9.73 GB）。 此处只统计当前 Git 仓库的文件元数据，不包含外部链接、Bucket 或另行申请的完整集合。

上游文件元数据

以下仅为 Hugging Face 官方 API 返回的文件名与大小元数据，官网没有下载或托管这些文件。

• .gitattributes2.29 KB
• assets/banner.png302.25 KB
• assets/plots/Qwen3.8-27B-aime25_vs_avg_bit_width.png58.79 KB
• assets/plots/Qwen3.8-27B-gpqa_diamond_vs_avg_bit_width.png66.67 KB
• assets/plots/Qwen3.8-27B-lcb_vs_avg_bit_width.png68.31 KB
• assets/plots/Qwen3.8-27B-mtp_speculative_decoding.png149.45 KB
• assets/plots/Qwen3.8-27B-task_avg_vs_avg_bit_width.png75.06 KB
• imatrix-qwen3.8-27b.gguf13.01 MB
• mmproj-Qwen3.8-27B-BF16.gguf888.01 MB
• Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp.gguf8.95 GB
• Qwen3.8-27B-GSQ-RCO-IQ2_S.gguf8.62 GB
• Qwen3.8-27B-GSQ-RCO-IQ2_XS-mtp.gguf8.17 GB

硬件建议

先选定所需权重格式和精度，再核对推理代码、依赖与目标硬件。仓库元数据合计可能包含多个变体、视觉组件或示例，不能用来直接推算运行显存；内存还受上下文、缓存、批量和并发影响，应以小样本实测确定配置。

注意事项

这是 DASLab 的转换版本，不能当作 Qwen 原始权重；MTP 变体与普通变体需要分别核对框架支持。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件，并在合法访问权限、许可证及平台规则允许的前提下，协助海内外下载、完整性校验及网盘或硬盘交付；本官网本身不托管或下载资源文件。

• 大模型获取与国内转存服务
• 大模型怎么下载：Hugging Face 官方方式与国内交付完整指南
• 国内下载 Hugging Face 模型很慢或经常中断怎么办
• DeepSeek、ChatGPT、豆包、Kimi 能否下载到本地