bibibi.cc正在加载…
蚂蚁集团与vLLM社区联合开源量化推理算子库Humming，报道宣称其兼顾设备、格式支持与性能。
蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核
PANews 10月21日消息，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库，Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
原文链接：https://www.panewslab.com/zh/articles/01a15e74-31d5-75ee-8ddf-3cfeee4e080b
PANews称，蚂蚁集团与vLLM社区联合开源Humming。
Humming被描述为通用、高性能的量化推理算子库。
报道表示Humming支持多种GPU及兼容CUDA编程的设备。
报道表示Humming通过统一架构支持Dense和MoE中的多种权重与激活格式组合。
报道声称Humming在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
以下为辅助分析，与已报道事实分开展示；重要信息请进一步核实。
量化推理是用更紧凑的数值格式执行模型计算，以降低计算或存储负担。Humming试图用一个统一的算子库适配多类设备，以及Dense和MoE模型中的不同量化组合。
如果报道中的兼容范围和性能表现能够复现，Humming可能为采用不同硬件、模型结构和量化格式的推理工作提供更统一的底层实现。
对新手而言，可将Humming理解为帮助量化模型在不同设备上执行计算的底层工具；是否适合实际项目仍需查看代码、许可证和测试条件。
正在加载事件时间线…