用参考图锁住人物脸,AI 短视频角色一致性方案
想让 AI 短视频里的主角每一镜都像同一个人,核心做法只有一个:把"脸"变成可复用的资产。先用 AI 制图生成一张(或几张)标准角色参考图,存进资产库,再让 MiniMax H3 在每次生成分镜时都带上这张图作为参考,配合统一的提示词描述和首尾帧衔接,人物一致性就能稳定下来。在 minimaxh3导演台(墨川导演台)里,这条链路是完整打通的:资产库管图、AI 制图出图、项目库批量生成、分镜卡片串戏。下面按实际操作顺序拆开讲。
为什么角色一致性总是崩?先搞清楚原因
因为纯文字提示词描述不了"这张脸"。你写"二十多岁、短发、鹅蛋脸",模型每次都会自由发挥,五官、发际线、脸型比例全在漂移。
常见崩坏点有三个:
- 只靠文字描述:形容词是概率性的,模型每次采样结果都不同。
- 参考图不统一:第一镜用 A 图、第三镜用 B 图,人物自然换脸。
- 跨镜没有衔接:上一镜结尾和下一镜开头没有视觉延续,观众一眼看出断层。
所以解决方案不是"把提示词写得更细",而是引入图像参考 + 固定资产 + 分镜衔接三层机制。
参考图怎么准备才算合格?
答案:一张干净的正脸半身图 + 一张侧脸或表情图,背景尽量简单,光线均匀。 这是后续所有分镜的"母版"。
具体步骤:
- 打开导演台的 AI 制图,用文生图生成角色定妆图。提示词思路:
正面半身肖像,[年龄][性别],[发型],[服装],中性表情,纯色背景,柔和均匀布光,高清细节。 - 不满意就继续图生图微调,直到五官、发型、服装三项都定下来。
- 再补一张侧脸或微笑表情的图,用于后续有角度变化的分镜。
- 把这两张图上传到 资产库,归类为"角色",命名统一,比如"女主_小满_正脸"。
要点清单:
- ✅ 背景越干净越好,避免模型把背景元素带进新镜头
- ✅ 服装在参考图里就定好,换装要另建一个角色资产
- ✅ 一次只锁一个角色,多角色同框时分别上传各自参考图
- ❌ 不要用带强烈滤镜、逆光、大特写的图当母版
生成分镜时怎么用参考图锁脸?
答案:每个分镜都挂上同一张角色参考图,并保持提示词里的角色描述逐字一致。 一致性靠"图 + 文"双保险。
操作流程:
- 在 剧本库 里把剧本拆成分镜卡片,每个卡片写清景别、动作、台词。
- 进入 项目库,对单个分镜做单镜生成测试——先跑 1 条,确认脸对了再往下走。
- 生成时在参考图位置选择资产库里的角色母版图,云端 ComfyUI 工作流会带着这张图做参考图一致性推理。
- 提示词里保留一段固定角色描述块,每镜原样复制,例如:
同一角色:短发女性,圆眼,浅色衬衫,只改动作和景别部分。 - 脸确认无误后,用 批量生成 把剩余分镜排队跑完,避免中途换参考图。
这里的关键认知是:参考图负责"长什么样",提示词负责"在做什么",两者分工不要混。
分镜之间怎么衔接才不跳脸?
答案:用首帧/尾帧做视觉接力,让下一镜从上一镜的画面长出来。 这是短剧连贯感的来源。
做法:
- 用 AI 制图 为关键分镜生成首帧,首帧里的人物直接用角色参考图做图生图,保证脸一致。
- 上一镜的尾帧,可以作为下一镜首帧的参考起点,形成连续画面。
- 在分镜卡片里标注镜头关系(同场景连续 / 转场),批量生成时按顺序排队,减少风格漂移。
- 台词口型用 音频库 的对口型功能对齐,配音走 IndexTTS 2.5,情绪跟着剧情走。
小技巧:同一场景的多个分镜,尽量一次性批量生成,中途不改参考图、不改角色描述块,一致性最稳。
本地跑还是云部署?哪种更适合锁脸工作流?
答案:看你显卡和团队规模。 个人有 GPU 就本地部署,多人协作或显卡不够就走云部署,推理都跑在 ComfyUI 工作流上。
- 本地部署:推理在自己机器上,参考图不出本地,适合单人稳定产出。
- 云部署:支持 AutoDL、阿里云、腾讯云、仙宫云及自定义 SSH 服务器,通过 SSH 连接云端 ComfyUI,本地隧道端口自动隔离,多人不串台。
- API 调用:想把生成能力接进自己的流程时使用。
仙宫云测试流程简述:用邀请码 B1H9M6 在 https://www.xiangongyun.com/register/B1H9M6 重新注册并认证 → 把账号 ID 发给客服开通测试 → 用导演台镜像部署实例 → 实例右侧点 SSH 拿到主机/端口/密码 → 填进导演台「云部署」页 → 验证 SSH → 启动云端 ComfyUI → 开始写剧本测试。具体配置以官网或客服微信为准。
FAQ
Q1:只有一张参考图够用吗?
大多数正面镜头够用,但有侧脸、低头、大幅表情变化的分镜,建议再补一张角度图,稳定性更好。
Q2:换了服装或场景,脸还会一致吗?
会,但要把新造型单独做成一个角色资产(同脸不同装),不要混用旧参考图,否则模型会拉扯。
Q3:批量生成到一半发现脸崩了怎么办?
停下来检查是不是参考图被换、角色描述块被改动,或分镜跨越了场景。修正后从崩的那一镜重新排队,不必全部重跑。
---
想让这套流程跑顺,建议先拿一个 3 镜的小片段练手:定妆图 → 资产库 → 单镜验证 → 批量生成。工具在 www.ymcdirector.com,卡住了直接加客服微信 ymcandai,或在淘宝搜索「杨墨川AI」。更多 minimaxh3 实战技巧会持续更新在官方博客。