Skip to content

图生视频模型LivePortrait实操

只需一张图就能生成动态视频,5分钟教你用AI让奥运健儿“傲娇”表情动起来。

当地时间8月11日第33届夏季奥林匹克运动会落下帷幕,本届奥运会上,中国体育代表团获得40金27银24铜,金牌数创造境外奥运会最佳。超算互联网用一组AI生成的奥运健儿“傲娇”表情视频,向所有中国健儿喝彩!

本次实操,我们用到的AI应用为可灵大模型团队推出的一款开源可控人像视频生成框架LivePortrait,该框架能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像上,生成极具表现力的视频表情。

先上结论:有,而且无需本地安装部署,在超算互联网您可以轻松使用ComfyUI-LivePortrait镜像,通过拖拽节点、调整参数,就可以定制自己的表情迁移动作视频,省去了复杂的环境配置环节。

接下来,我们手把手实操演示如何在超算互联网使用ComfyUI-LivePortrait生成动作视频。

我们以在2024巴黎奥运会上闪闪发光的00后卡通头像作为图片素材,看AI如何驱动奥运健儿完成“傲娇”表情的迁移。文末有详细的视频教程和论文地址,零基础也能上手体验。

一、准备工作

1.png

1、驱动视频:准备一段小视频,LivePortrait会提取图像中的表情特征,用于驱动人像的表情和头部动作,视频内容可以是人物说话、唱歌、做表情等画面。
2、图片素材:准备几张高质量的正面人像照片作为素材。照片需要清晰,光线均匀,避免过度曝光或阴影。

二、使用步骤

第一步:超算互联网在线启动ComfyUI-LivePortrait:

登录超算互联网https://www.scnet.cn个人账号,点击右上角“控制台”;

2.png

点击快捷入口中的“Notebook”,进入创建Notebook页面;

3.png

选择区域、加速卡,点击“模型镜像”,在列表中选择想要配置的镜像,这里我们选择jupyterlab-comfyui-liveportrait,点击创建;

4.png

创建成功后,点击“jupyterLab”进入Notebook页面;

5.png

进入Notebook页面以此运行单元格;

6.png

当单元格下方出现端口链接时,则说明webUI的服务已经启动,这里复制端口链接;

7.png

返回创建notebook的页面点击“访问自定义服务”,并粘贴端口链接中的“端口号”,点击“启动任务”,即可进入“comfyui”界面:

8.png

在“comfyui”界面左上方的文件浏览器中,选择加载“LivePortait”,加载后会看到工作流中的所有默认节点及其连接;

9.png

第二步:上传素材

将准备好的图片素材上传到左上方的“加载图像”区域,将驱动视频上传到左下方的“加载视频”区域。

10.png

第三步:调整参数(可选)

LivePortrait 提供了一些可调整的参数,例如:

1、设置生成视频的分辨率,例如 512x512 或 1024x1024,目前单边分辨率最大支持到1280。 2、设置生成视频的帧率与原视频的帧率需保持一致,例如30fps 或 60fps。 3、眼部重定向、嘴唇重定向参数能具体调节眼和嘴的动作幅度,例如如果人物眼睛或嘴巴较大,生成视频无法闭合,可以设置对应参数进行控制。 4、设置因数,控制源表情与目标面部的融合程度,值越高,源表情特征保留越多。

第四步:生成视频

点击界面右上角的“Queue”按钮,LivePortrait 将开始生成动画。根据视频长度,生成时间可能需要几秒到几分钟不等。

第五步:下载视频

生成完成后,右键点击预览的动画视频,选择“Save preview”,即可下载生成的动画视频。

11.png