InfiniteTalk

支持图像到视频和视频到视频生成的无限长度有声视频生成。

我们提出了InfiniteTalk，一种创新的稀疏帧视频配音框架。在输入视频和音频轨道下，InfiniteTalk合成出一个带有准确口型同步的新视频，同时将头部运动、身体姿势和面部表情与音频对齐。与传统仅关注嘴唇配音的方法不同，InfiniteTalk支持无限长的视频生成，同时具备准确的口型同步和一致的身份保护。此外，InfiniteTalk 还可以作为图像-音频转视频的模型，输入是图像和音频。