正文
Underdog把Qwen3.8-27B压到7.89GB：工具调用自测超过原版
动察 Beating AI 快讯，a16z 投资的本地 AI 助手 Underdog 发布 Saluki 27B，基于阿里 Qwen3.8-27B 制作。模型采用约 2-bit 量化，体积从全精度版本的约 54GB 缩小至 7.89GB。官方称，16GB 内存的笔记本就能运行，并支持通过 llama.cpp 等现有工具部署。模型权重已按 Apache 2.0 协议开放。
Saluki 使用了奥地利科学技术研究所 ISTA-DASLab 的量化成果。该实验室此前已将 Qwen3.8-27B 压缩至约 8.4GB。Underdog 在此基础上进一步缩小体积，并重点优化工具调用表现。
在从 BFCL 选出的 120 道工具调用题中，Saluki 做对 88 道，ISTA 量化版做对 76 道，54GB 原版做对 84 道。在 50 个真实 GitHub 问题修复任务中，Saluki 解决了 30 个，原版解决 33 个。
官方称，Saluki 在 9 项评测中平均保留了原版 96% 的成绩，但不同任务的表现差距较大。数学竞赛和复杂推理成绩分别只达到原版的约 83% 和 85%。