京东推出国产芯片驱动的 xLLM 推理引擎

京东宣布开源基于国产芯片自主研发的大模型推理引擎 xLLM，旨在助力企业以高性能、低成本部署 AI 应用，推动行业智能化转型。该引擎亮点众多，有基于请求优先级的动态调度器、动态自适应的 PD 分离架构，适配多模态场景。技术架构上有多级流水线执行引擎、计算优化套件和多级 KV 缓存全局管理系统。其源自京东零售核心业务，已应用于多个场景，效率提升超 5 倍，机器成本降低 90%。京东表示未来将根据社区需求开放更多功能，与产学研伙伴推动国产 AI 基础设施技术创新，开源后开发者可体验该引擎并推动中国 AI 技术生态发展。