港中深联合微软研究院提出多模态统一建模新架构 ConvexLLM
34 分钟前
港中深与微软研究院联合提出多模态统一建模新架构 ConvexLLM,通过创新 C-Gate 架构将语音等音频信息映射至大语言模型原有文本词向量的凸包中,以冻结词向量的非负加权组合生成音频表示,无需先转写为文本,让声音直接调用大模型预训练积累的知识与推理能力。该架构在 VoiceBench 等多项基准测试中取得同量级开源模型领先表现,BBH 任务领先最强基线 8.8 个百分点,还可同时适配环境声、音乐等多类音频理解任务,为语音与语言的统一建模提供了新的技术路径。
体验专业版特色功能,拓展更丰富、更全面的相关内容。