Readhub

小红书 hi lab 团队首次开源文本大模型 dots.llm1，该模型为大规模 MoE 语言模型，拥有 1420 亿参数，激活 140 亿参数，经过 11.2T 高质量数据训练，性能可媲美 Qwen2.5-72B。