腾讯 AI 新突破：无监督前缀微调技术大幅降低推理计算成本

腾讯 AI Lab 与香港中文大学合作，在大型语言模型推理效率方面取得突破，提出了无监督前缀微调（UPFT）技术。该技术通过关注模型输出的前 8 至 32 个词元，利用前缀自洽性原理，减少计算开销，提升推理性能。UPFT 结合贝叶斯推理原理，通过训练早期词元，提高覆盖率和准确性。实验表明，UPFT 能显著减少训练中处理的词元数量，降低时间和内存需求，并在多个推理基准测试中展现出卓越性能。这一成果为大型语言模型优化提供了新方向，推动人工智能领域发展。