一家名为 Runway 的人工智能创业公司宣布了一款新的文本生成视频(Text-to-video)AI 模型,名为 Gen-2,文本生成视频也就是用户可以输入一个描述,然后系统自动生成任何风格的对应视频。目前的技术还达不到这个梦想,但 Runway 公司的新模型已经展示了一些非常好的效果。
Runway 公司提供了一个基于网络的视频编辑器,专注于人工智能工具,如背景移除和姿态检测。该公司参与开发了开源文本生成图像模型 Stable Diffusion,并在二月份发布了第一个人工智能视频编辑模型 Gen-1。
Gen-1 主要是对现有视频素材进行转换,让用户输入一个粗糙的 3D 动画或者抖动的手机拍摄片段,并应用一个人工智能生成的覆盖层。例如在下面的例子中,纸板包装的视频与一个工业厂房的图片结合起来,产生了一个可以用于故事板或者提案更精美作品的片段。
相比之下,Gen-2 更专注于从零开始生成视频,但是也有很多需要注意的地方。首先,Runway 公司分享的演示片段都很短、不稳定、并不是很逼真;其次,访问权限也受限,用户必须通过 Runway 公司的 Discord 平台注册并加入等待名单才能使用 Gen-2 模型;该公司发言人 Kelsey Rondenet 称,“我们将在未来几周内提供广泛访问。”换句话说:目前我们只能通过一个演示片和少数几个片段(其中大部分已经作为 Gen-1 模型宣传过)来评价 Gen-2 模型,不过看起来效果很是很出色的。
文本生成视频技术令人兴奋,带来了新的创造性机会,但也带来了新威胁(例如虚假信息等)。