Code2Video是一个以代码为中心的智能体框架,它能够根据知识点生成高质量的教育视频。
与基于像素的文本转视频模型不同,我们的方法利用可执行的Manim代码来确保视频的清晰度、连贯性和可复现性。
主要特点:
- 🎬代码中心范式——以可执行代码作为教育视频时间排序和空间组织的统一媒介。
- 🤖模块化三代理设计— 规划器(故事板扩展)、编码器(可调试的代码合成)和评论家(使用锚点进行布局改进)共同协作,实现结构化生成。
- 📚 MMMC 基准测试——首个代码驱动视频生成基准测试,涵盖 117 个受 3Blue1Brown 启发而精心策划的学习主题,涉及多个领域。
- 🧪多维评估——对效率、美观性和端到端知识转移进行系统评估。
Code2Video 的工作原理图。给定用户查询,Code2Video 旨在通过 Manim 代码编写渲染教育视频:(i)规划器将学习主题转换为故事板并检索视觉素材;(ii)编码器执行并行代码合成,并根据范围进行细化,以确保效率和时间一致性;(iii)评论器使用锚定视觉提示迭代调整空间布局和清晰度,从而生成可复现的、结构符合教学法的视频。