摘要:获奖影片《Total Pixel Space》并非采用传统方式制作,而是由亚利桑那州立大学的作曲家兼教育家 Jacob Adler 运用图像生成器、合成语音和视频动画工具拼凑而成,其中最为引人注目的是 Runway 的 Gen-3——该公司推出的文本转视频模型
获奖影片《Total Pixel Space》并非采用传统方式制作,而是由亚利桑那州立大学的作曲家兼教育家 Jacob Adler 运用图像生成器、合成语音和视频动画工具拼凑而成,其中最为引人注目的是 Runway 的 Gen-3——该公司推出的文本转视频模型 ( Runway Gen-4 于三月发布 ) 。
视频生成技术于 2022 年首次公开亮相,当时 Meta 发布了一段展示一只穿着红色斗篷和太阳镜的飞翔柯基的粗糙视频。自那时起,该技术便从根本上改变了电影制作方式,大幅降低了入门门槛,并催生了全新的创意表达形式。如今,无论是独立创作者还是知名电影制作人,都可借助 Runway 等强大的 AI 工具,从简单的文本提示或参考图像中生成逼真的视频场景、制作故事板动画,甚至完整创作短片。
因此,制作成本和周期不断缩短,使得资源有限的电影从业者也能实现专业品质的成果,将雄心勃勃的构想变为现实。内容创作的民主化正超越传统工作室的限制,为每个拥有耐心和丰富想象力的人赋予了无限可能。
Adler 的灵感源自 Jorge Luis Borges 著名短篇小说《巴别图书馆》,该小说设想了一个包含所有可能书籍的无尽藏书库。Adler 发现,现代生成式机器学习模型的能力与之颇有相似之处——它们可以从噪音 ( 类似于老电视上那种像素随机变化产生的“雪花” ) 及文本提示中生成数不胜数的图像。
“究竟可能存在多少图像呢?”当屏幕上播放着梦幻般的 AI 生成视频时,画面呈现出浮动且爆炸的建筑,以及一只体型与人等大的家猫蜷缩在女人腿上,叙述者迷离地说道:“秩序与混沌之间究竟隐藏着什么?”
Adler 精彩的剧本是一场引人入胜的思想实验,试图计算所有可能图像的总数,展示出 AI 辅助下人类想象力的无限可能性。
“像素是数字图像的构建基石,就像组成马赛克的小瓷砖,”那个由 ElevenLabs 生成的声音继续说道。
“每个像素均由代表颜色和位置的数字定义,因此,任何数字图像都可表示为一连串数字,”旁白接着说道,这声音本身也是一组描述随时间气压变化的数字序列。“所以,每一张可能被拍摄的照片都以坐标存在,每一帧可能的影片画面也都以坐标呈现。”
Runway 由 Cristóbal Valenzuela、Alejandro Matamala 和 Anastasis Germanidis 于 2018 年在纽约大学 Tisch 艺术学院相识后创立。现任 CEO 的 Valenzuela 表示,他在 2015 年便爱上了神经网络,之后便不断思索这些技术如何能被创作者运用。
如今,该平台已拥有数百万用户,被电影制作人、音乐家、广告商及艺术家广泛使用。同时,其他平台如 OpenAI 的 Sora 和 Google 的 Veo 3 也相继加入这一领域。
Runway 与众多竞争者的区别在于其从零开始自主研发。公司中大部分成员均属于其研究团队,他们开发的自主模型现已可以生成约 20 秒的视频。
正如在 AI 电影节所展出的作品中所展示的那样,Valenzuela 将这一成果称为“一种全新的媒体”。或许“电影”这一词将不再适用,连“电影制作人”也可能成为历史概念。“明日的 Tisch 将传授一种尚未命名的东西,”他在电影节开幕致辞时表示。
的确,Adler 并非受过电影制作训练,而是一位受古典音乐熏陶的作曲家、管风琴演奏家以及微分音理论家。“创作音乐与剪辑电影的过程,”他对我说,“都是在时间中编排变化的艺术。”
他利用图像生成平台 Midjourney 创作了数千幅图像,随后借助 Runway 平台为这些图像赋予生命,再利用 ElevenLabs 合成了叙述者的声音。而剧本则完全由他一手编写,其灵感来源于 Borges 的思想、组合数学以及在特定分辨率下可能出现的惊人图像数量。最后,他将所有素材在 DaVinci Resolve 中剪辑成片。
最终成果?一部时长十分钟、既富有哲学意蕴又充满视觉冲击的影片。
将这一切视为从卢米埃兄弟到 CGI、从 Technicolor 到 TikTok 的漫长进化之下一步固然具有诱惑力,但我们所见并非延续,而是一种断裂。
“过去,艺术家往往受限于相机、工作室及预算,”Valenzuela 说道,“而如今,一个有思想的孩子只需按下一个按钮,就能生成一个梦境。”
在 Runway 电影节上,灯光逐渐昏暗,影片以动画幻觉、合成语音和不可能的视角一波接一波地呈现出来。有的作品略显粗糙,有的则十分精致,但所有作品都前所未见。这并非在试图取代电影制作人,而是要释放他们的创造力。
“当摄影刚刚出现——或者说,当银版照片首次发明出来时——人们连一个恰当的词汇都无法描述它,”Valenzuela 在电影节开幕致辞中说道,“他们用‘有记忆的镜子’来形容,因为他们从未见过如此事物……我认为这与我们当下的处境非常相似。”
Valenzuela 引用了 Oliver Wendell Holmes Sr. 的名言,借以传达摄影可以捕捉和保存现实影像的理念,使这些影像在时光流逝后依然可被重温和铭记。正如摄影曾令世人惊叹与不安,生成媒体如今也在促使人们重新思考创意的真正内涵。
当你观看时——当你见证 Jacob Adler 的影片徐徐展开——你不由得会感受到这面镜子正向我们展示更深层次的寓意。AI 视频生成就像一种多元宇宙引擎,使创作者能够在数字领域里探索并呈现无尽的交替现实。
“进化本身不再是创造的过程,而是发现的历程,”影片在结尾处写道,“生命发展中的每一条可能路径……不过是巨大可能性织锦中的一根线索。”
来源:至顶网一点号