量化推理

蚂蚁集团与vLLM社区联合开源量化推理库Humming

PANews报道，蚂蚁集团与vLLM社区联合开源通用量化推理算子库Humming，称其支持多类GPU、量化格式及Dense和MoE模型。