蚂蚁开源UBTree推测解码方案,测试平均加速比提升至6.88倍
蚂蚁百灵开源推测解码方案UBTree,通过并行筛选草稿树提升大模型推理效率。在Qwen3-4B七项测试中,平均加速比由5.95倍提升至6.88倍。
正在加载…
把分散的消息,连成可以理解的脉络。
蚂蚁百灵开源推测解码方案UBTree,通过并行筛选草稿树提升大模型推理效率。在Qwen3-4B七项测试中,平均加速比由5.95倍提升至6.88倍。
Eagle发布EAGLE-4推测解码方案,报道显示其在4张NVIDIA B300 GPU上将Qwen3.8-27B单请求生成速度提升至863.8 Token/秒。新版已公开代码,但商业许可较前三代收紧。