内容摘要Eagle发布EAGLE-4,报道中的特定测试显示生成速度与吞吐量提升,但商业许可较前三代收紧。
正文
EAGLE-4让Qwen生成速度提升3.6倍,手机CPU也能提速3倍
动察 Beating AI 快讯,大模型推理加速公司 Eagle 发布 EAGLE-4,升级其推测解码方案。新版重点降低了草稿模型的计算开销,还能根据硬件性能和并发数量调整预测规模,避免额外的预测计算反而拖慢速度。
在 4 张 NVIDIA B300 GPU 上,Qwen3.8-27B 的单请求生成速度从每秒 240.5 Token 提高到 863.8 Token,达到普通推理的 3.6 倍。在 512 个请求同时运行时,总吞吐量从每秒 2.12 万 Token 提高到 2.83 万,提升 34%。
手机端也有明显提升。在摩托罗拉 Razr 70 Ultra 上,Gemma-4-E2B-it 仅靠 CPU 就实现了 3.2 倍的长文本生成速度,同一任务的耗时从 43 秒缩短至 14 秒,每个 Token 的能耗降低 53%。
EAGLE-4 已公开代码,支持接入 SGLang、vLLM 和实验性 TokenSpeed。但与采用 Apache 2.0 开源许可证的前三代不同,新版改用限制性商业许可证。连续 12 个月综合营收超过 2000 万美元的企业,以及提供竞争性推理服务的公司,商业使用需要另行授权。
原文链接:https://m.theblockbeats.info/flash/372995
AI 辅助解读
以下为辅助分析,与已报道事实分开展示;重要信息请进一步核实。
EAGLE-4是一种推测解码方案:它用草稿模型提前预测内容,再由大模型处理,以尝试更快生成文本。报道给出的GPU和手机CPU测试均显示提速,同时新版会依硬件与并发情况调整预测规模,减少无效计算。不过,公开代码不等于商业用途不受限制,部分企业和推理服务商需要另行取得授权。
对读者的影响
如果报道中的效果能在实际部署中复现,EAGLE-4可能提高单请求速度和并发吞吐量,并降低手机端生成耗时与能耗;但收紧的商业许可会影响部分企业能否直接采用。
新手可重点区分三件事:单请求速度代表一次生成有多快;吞吐量代表系统同时处理大量请求的能力;代码公开并不必然意味着企业可以不受限制地商业使用。
风险与未知
- 材料未包含Eagle官方公告、完整基准测试方法或原始测试结果。
- 材料未提供独立第三方复测,性能和能耗数据能否复现尚不明确。
- 测试结果来自特定模型、硬件和并发条件,不能确认可推广到其他部署环境。
- 材料只概述了商业许可门槛,未提供完整许可证条款。
- SGLang、vLLM和实验性TokenSpeed的实际集成效果未在材料中说明。