视频生成也能代码驱动了,Code Video Model 来了
1 小时前
当前主流视频扩散模型存在物理规律约束不足、精确控制难度大的局限,微软团队提出 Code Video Model,以可执行代码作为视频的控制表示,由 Coding Agent 将提示词转化为 Three.js 可执行场景程序生成预演视频,支持生成前对场景布局、运动轨迹、物理参数等内容进行检查、编辑与验证。研究通过系统实验厘清不同条件通路的作用机制,提出免训练的阶段化条件调度范式,在冻结预训练视频模型参数的前提下,早期引入预演的时空结构约束,后期撤去预演条件由文本、参考图引导外观细化,既保留程序定义的结构与运动准确性,又避免生成结果被预演的低多边形风格主导。该方案可支撑动漫、子弹时间镜头、场景编辑、物理过程还原等多类场景的可控视频生成,将传统生成后反复试错的镜头迭代模式前移至生成前的预演验证阶段。
体验专业版特色功能,拓展更丰富、更全面的相关内容。