腾讯发布开源 MoE 大语言模型 Hunyuan-large：总参数 398B 为业内最大

腾讯推出了名为 Hunyuan-Large 的开源 MoE 大语言模型，该模型参数量达 389B，训练 token 数量为 7T，最大上下文长度为 256K，词表大小为 12.8w，技术创新方面通过高质量合成数据增强模型训练。Hunyuan-Large 在多学科综合评测集上表现优异，全面领先于一流开源模型。同时，腾讯还推出了自研的长文评测集「企鹅卷轴」，填补行业在真实长文评测集上的空白。