快讯详情
腾讯混元AI Infra核心技术开源
电商报| 2026-02-05 10:29:40

2月5日消息,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库HPC-Ops。腾讯混元称,在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。

转载之前请先阅读转载说明,违规转载法律必究
寻求报道或合作,请点击这里
如果您加入壹览的讨论群,请联系我们的工作人员(微信号:star_3979)