腾讯混元 AI Infra 核心技术开源:推理吞吐提升 30%
2 月 4 日
腾讯混元 AI Infra 团队推出开源生产级高性能 LLM 推理核心算子库 HPC-Ops,真实场景下,混元模型推理 QPM 提升 30%,DeepSeek 模型 QPM 提升 17%。单算子性能方面,Attention 相比 FlashInfer/FlashAttention 最高提升 2.22 倍,GroupGEMM 相比 DeepGEMM 最高提升 1.88 倍,FusedMoE 相比 TensorRT-LLM 最高提升 1.49 倍。
腾讯混元 AI Infra 核心技术开源:推理吞吐提升 30%
财联社 / 钛媒体 / 格隆汇
2026-02-04
腾讯混元 AI Infra 核心技术开源:推理吞吐提升 30%2020-04-24
微信开源推理加速工具 TurboTransformers,腾讯开源项目总数破百体验专业版特色功能,拓展更丰富、更全面的相关内容。