模型

Ternary-Bonsai-2-27B-mlx-2bit

prism-ml/Ternary-Bonsai-2-27B-mlx-2bit

查看上游原文 ↗
上游访问:公开 本站服务:可咨询 许可证:apache-2.0 上游版本:3f926b415992

中文简介

Ternary-Bonsai-2-27B-mlx-2bit 将同系列三值权重封装为 Apple Silicon 的 MLX 版本,并包含视觉塔。其容器开销与 GGUF 打包不同,适合以 Mac 为目标的平台选型。

UPSTREAM README

上游模型卡 / 数据集卡

在 Hugging Face 查看原文 ↗

【定位与用途】
Ternary-Bonsai-2-27B-mlx-2bit 将同系列三值权重封装为 Apple Silicon 的 MLX 版本,并包含视觉塔。其容器开销与 GGUF 打包不同,适合以 Mac 为目标的平台选型。

【如何选择】
用于 Apple Silicon 上的本地推理和低比特质量比较,按 MLX 配套实现加载。

【版本与获取范围】
选型方向:推理与智能体。固定上游版本:3f926b415992eaa2ae9dd7b573706494d6bbf787。API 任务字段:text-generation。上游最近更新时间:2026-09-17(不一定为首次发布日期)。 规模、子集和组件差异见本页简介及注意事项;API 标签与卡片正文的含义分别保留。

【容易混淆的边界】
不能将 GGUF 的每权重位数、文件体积和内核支持直接套到 MLX;统一内存还需容纳缓存与其他应用。

本节是本站基于固定版本卡片编写的中文选型摘要,并非原文逐句翻译。完整操作、评测协议与许可原文请查看上游固定版本链接;模型效果及资源处理需求尚未由本站实测。

基于固定版本上游资料编写的中文选型说明 · 2026-09-20 15:03

本页提供中文选型摘要,请通过上方固定版本链接查看完整上游模型卡或数据集卡。

适用场景

用于 Apple Silicon 上的本地推理和低比特质量比较,按 MLX 配套实现加载。

模型参数

选型方向:推理与智能体。固定上游版本:3f926b415992eaa2ae9dd7b573706494d6bbf787。API 任务字段:text-generation。上游最近更新时间:2026-09-17(不一定为首次发布日期)。 规模、子集和组件差异见本页简介及注意事项;API 标签与卡片正文的含义分别保留。

文件说明

上游 API 返回 23 个文件,文件元数据合计 8.02 GB。 已保存文件清单中的主要扩展名:.json 9 个、.py 4 个、无扩展名 3 个、.md 2 个、.txt 2 个、.jinja 1 个。 当前较大的文件包括:model.safetensors(8.01 GB);tokenizer.json(12.22 MB);hadamard.json(290.92 KB)。 此处只统计当前 Git 仓库的文件元数据,不包含外部链接、Bucket 或另行申请的完整集合。

上游文件元数据

  • .gitattributes144 B
  • assets/bonsai-logo.svg515 B
  • chat_template.jinja8.74 KB
  • config.json56.78 KB
  • files.json2.79 KB
  • generation_config.json85 B
  • hadamard.json290.92 KB
  • LICENSE9.94 KB
  • model.safetensors8.01 GB
  • NOTICE.txt411 B
  • PACK-RUNTIME.md969 B
  • preprocessor_config.json390 B

硬件建议

先选定所需权重格式和精度,再核对推理代码、依赖与目标硬件。仓库元数据合计可能包含多个变体、视觉组件或示例,不能用来直接推算运行显存;内存还受上下文、缓存、批量和并发影响,应以小样本实测确定配置。

注意事项

不能将 GGUF 的每权重位数、文件体积和内核支持直接套到 MLX;统一内存还需容纳缓存与其他应用。

获取、校验与交付

咨询此资源时只需发送本页链接或资源准确全称。橙子AI科技会继续核对版本、文件与类型、README资料卡、许可证和访问条件,并在合法访问权限、许可证及平台规则允许的前提下,协助海内外下载、完整性校验及网盘或硬盘交付;本官网本身不托管或下载资源文件。

第三方资源声明

本页面为橙子AI科技基于固定版本上游卡片整理的中文信息与服务说明,不代表资源作者或平台官方页面。实际许可、访问和使用条件以上游原文为准。