摘要:角色动作呆板、不连贯,双人以上就更没法通过动作体现剧情了角色表情单一,即便提示词中指定哪步变成什么表情,也无法变成自己想要的表情变化的效果好不容易找到了贴合角色的人声素材,结果视频加音频时口型对不上,效果大打折扣因多人动作不好把控,只能不停切镜头展示不同角色的
不知道需要用AI生成视频的你是否经历过如下煎熬:
角色动作呆板、不连贯,双人以上就更没法通过动作体现剧情了角色表情单一,即便提示词中指定哪步变成什么表情,也无法变成自己想要的表情变化的效果好不容易找到了贴合角色的人声素材,结果视频加音频时口型对不上,效果大打折扣因多人动作不好把控,只能不停切镜头展示不同角色的状态,显得low还麻烦......反正,我是经历过。比如前两天深陷于即梦的表情调整循环、可灵和seko的动作调整循环中。
持续几个月的煎熬后,“东风”来了,解放的黎明近了。
是阿里巴巴造势将 Wan2.2-S2V这股“东风”送到了大家的跟前。
官方介绍它支持真人、卡通、动物、数字人等多种画风,能生成自然表情、精准口型、流畅动作的电影级画的视频。
下面我将透过一些案例,带着大家看看它文生视频、图生视频、数字人等功能(只有这些功能能用 Wan2.2-S2V),是如何演绎具体情节的。
文生视频
抱球的主角球员的细节刻画很到位,复杂的表情与快摔倒在一摊泥水地上的情境适配。溅起泥水花的细节、对手球员的动作与音效一应俱全,并且逻辑在线。
只是对方球员的球衣颜色不是我所要求的,但这个可以局部调整。
先讲一下视频的生成步骤。
生成很快,5分钟以内就能完成。之后就可以修改视频了。它的修改功能包括局部编辑、视频重绘、高清放大。
不过局部编辑是用的Wan2.1模型处理,高清放大功能需要开会员。
你可以用局部编辑改变角色姿势、替换角色或者更换背景。这里我就用局部编辑功能修改了对方的球衣,改成了黑底蓝纹的上衣。每一帧都改成功了。
操作如下:
这是改之后的效果:
图生视频
航拍运镜加入后,整个画面更壮观恢宏。弓箭手衣尾飘动、飞天恐龙振翅刻画都比较自然,还有特效的动态效果。
甚至当镜头运行至弓箭手背后时,你能看到Wan2.2-S2V自身拓展的弓箭手对面的景象。
接下来给Wan2.2-S2V增加难度。
镜头中的每个角色都不是静止的!且他们的动作和表情变化都符合当前的场景、身份。
就表现得非常真实和自然。
只是“机器人同学生交谈”的这个视频中,还有2点不足。一是机器人的穿着未按照提示词生成;二是它没有生成指令要求的2处音效,而是全程配bgm。
但也并不影响观感。这个问题应该能通过优化提示词解决。
图生视频在这里选择:
数字人唱歌
这外国青年的嘴型和歌词都能对上,胸腹随着吸气呼气而颤抖,腿也有微抖的情况,这三处还比较自然。不过就是眼部动作比较夸张,手没有动,显得比较机械、奇怪。
整体看起来还是不够真实。
由于数字人功能不能输入指令,大家可以试着换成简单的动作进行生成。
数字人功能在这里选择:
写在最后
正如大家所见,Wan2.2-S2V模型并没有达到完美无缺的效果。
但从文生视频、图生视频这两个功能来看,无论单人、多人出镜,它在动作连贯性、动作和表情的逻辑性方面确实无懈可击,角色与角色之间的互动性更强。
至于付费方面,它有免费积分可领取,也有付费套餐。前者只要你每天登录,就能每天得到赠送的50灵感值。
这里要说明的是,它每生成1个视频(文生视频、图生视频)消耗10灵感值,每生成1个数字人视频消耗30灵感值。
不过也不用担心,50灵感值基本还是能生成2个5秒的视频(文生视频、图生视频只有5秒时长的选项),它对指令理解能力还是很强的。
付费套餐如下,财大气粗的朋友可以看过来:
(我们的小绿泡主界面的菜单功能更新啦,可获取各类干货哦!)
来源:chooseAI