蚂蚁集团与vLLM社区联合开源量化推理算子库Humming

10月21日，据蚂蚁开源官微消息，蚂蚁集团与vLLM社区联合开源通用量化推理算子库Humming。该库具备广泛的设备支持能力，可覆盖多种GPU及兼容CUDA编程的设备。在量化方面，Humming通过统一架构支持Dense和MoE模型中丰富的权重与激活格式组合，涵盖多种整数与浮点类型、位宽及缩放方式。测试显示，其在多种典型负载下的执行性能显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。