大家好,这里是和你们一起探索 AI 的花生~

今天为大家推荐一款新的 AI 视频制作工具 ,它可以通过文本或视频生成带有指定动作的角色,从而提升 AI 视频中人物行为的可控性,今天就为大家详细介绍一下它的特点与用法~

AI

官网: (服务托管在 中)

在上线之后很快就引起了关注,因为它解决了 AI 视频生成中一个非常重要的问题——如何准确控制角色的肢体动作。之前我们了解的一些 AI 视频工具,基本都是通过文本或者图像来生成视频,是对画面整体添加动态,很难准确控制人物动作; 则是将人物动态单独拿出来处理,让真人动作能完美复制到另一个角色身上,这样无论是哪种姿势都是可以实现的。

下面 创始人@Nora.Z 展示的一个案例。对于第一张图中的静态角色, 可以为其添加任意一种你需要的动作,比如走、跑、跳等,添加动态后的角色还可以再次被合成到原本的场景中,实现逼真的动态效果。

电影摄影师 @ Abel Art 则利用 实现了非常好的角色替换效果。原本的真人变成了蓝色的外星人,但动作姿势依旧如真人般灵活多样,这种处理方式应该比传统的 CG 建模要高效很多。

的服务托管在 中,目前可以免费使用。它主要支持 4 种功能,下面逐一为大家介绍其使用方法。

① 图像+视频生成动态

此功能中,用户可以先上传一个视频和一张角色图像, 会自动将视频的动态赋予给这个角色,形成一段新视频。而且 并非只能生成简单的正面动作, 它能模拟出角色的 3D 状态,这样即使原视频中有身体旋转、四肢交叠等动作, 也能准确进行还原处理。

我们可以通过 /mix 命令来实现这一效果。在 社区中进入任意 频道,输入 /mix,然后在弹出的文件框中上传你的图像和视频。图像人物要清晰,最好是全身正面照;视频大小小于 25MB,分辨率高于 720p;还可以设置背景颜色(白色/绿色),以及开启 微调。

设置完成后,按 Enter 发送,完成后会自动返回生成结果(注意视频播放音量)。

② 图像+文本生成动态

除了上传视频,我们也可以直接用文本提示让 生成指定动作,这样就可以省去找视频素材的时间。

动态提示词可以自己写,也可以参考 官网首页提供的提示词模板,进入 「」版块就能看到。里面 100 多种动态提示词,包含跳舞、行走、跑步等各种类型的姿势动态,可以直接复制使用。

进入 后,输入命令 /,然后在文件框内上传准备好的图像,再填写动态提示词,设置好背景颜色,按 Enter 发送生成就可以了。

生成结果(注意音量):

③ 文本/图像直接生成动态角色

也支持直接从文本提示生成带动态的角色,实现此功能的命令是 “/” 。

使用时提示词会分为两部分,在 处输入人物描述,比如 “ A man a black ”,然后在 处输入有关动作的描述词,比如 “$”,设置好背景颜色,按 Enter 发送即可。

此外还有一个 / 命令,支持先生成人物图像,再通过文本提示对其添加动态。有了这一步,我们可以筛选确定好人物形象后再加动态,避免出现文本直接生成后发现效果不好的情况。

④ 生成风格化人物

还支持对真人照片进行风格化,再添加动效,来得到更多样化的视频效果。

此功能可以通过 / 命令来实现。输入命令后,上传一张人物的照片,在提示词中描述你想要转换的风格,比如 “3D pixar”,然后发送出去。等新的图像完成后,挑选一张你喜欢的添加动态就可以。

生成结果(注意音量):