剧本怎么变成视频:AI 编剧、分镜和视频生成完整链路
结论先说:剧本变视频不是"把文字丢给模型等出片",而是一条"剧本→分镜卡→首尾帧→视频片段→配音配乐→拼接成片"的流水线。 这条链路上每一步的产出物都要能被下一环节直接读取,链条才跑得通。实操中,最省力的做法是把剧本、分镜、资产(角色/场景参考图)、音频放在同一个工作台里管理,避免在五个软件之间来回导出导入——墨川导演台(MiniMax H3 AI 导演台)就是按这个思路做的专业工作台方案之一。
下面按真实链路拆成四个问题,每个都给出可执行步骤。
一、AI 编剧到底能帮你写到什么程度?
能写到"六段式剧本 + 分镜草稿"的程度,而且草稿会真正写入剧本库,不是聊完就丢。 这是它和普通聊天机器人的关键区别。
具体流程:
- 打开 AI 编剧,用对话描述你的题材、时长、风格、平台(竖屏短剧 / 横屏短片 / MV)。
- AI 按六段式结构回复剧本草稿,同时给出分镜拆分建议。
- 草稿确认后直接落入剧本库,成为可编辑的剧集与分镜卡片。
- 在剧本库里逐条改台词、改镜头描述、增删分镜。
几个实用要点:
- 支持中文、英文、西班牙语、阿拉伯语、日语五种语言,做海外短剧或多语种分发时不用另找翻译环节。
- 对话类功能可以接入你自己准备的 LLM API Key,写出来的风格更贴近你惯用的语气。
- 提示词里明确写"每镜 3–5 秒""全片 12 个镜头""第 3 镜给特写"这类硬约束,AI 拆出来的分镜才够用,否则它会写得偏文学、不好拍。
二、分镜卡要写到多细,才能直接喂给视频生成?
每个分镜卡至少要写清四件事:镜头内容、景别与运镜、画面风格、时长。 缺一项,生成结果就会飘。
建议在每张分镜卡里固定这几栏:
- 画面主体:谁、在哪、做什么(人物名要和资产库里的角色名一致)。
- 景别运镜:特写 / 中景 / 全景,推拉摇移。
- 光影与风格:时间、光源方向、色调、参考影片气质。
- 时长:单镜秒数,方便后面批量排队。
- 首帧 / 尾帧需求:这一镜需不需要单独出图。
一个容易踩的坑:分镜卡里写"她悲伤地转身",模型不知道"悲伤"长什么样。改成"她低头、肩膀下沉、缓慢转身背对镜头、逆光",可执行性立刻不一样。
三、首帧尾帧和角色一致性怎么保证?
靠"参考图 + 资产库"锁一致性,靠"首尾帧"锁镜头衔接。 纯文字提示词做不到跨镜头的人物稳定。
可执行步骤:
- 进资产库,为每个主要角色、核心场景、关键道具建立条目,上传参考图。
- 用 AI 制图(文生图 / 图生图)为分镜生成首帧、尾帧和角色参考图——首帧决定这个镜头怎么开始,尾帧决定它怎么收,两帧都定住,镜头之间的衔接才顺。
- 生成视频时挂上对应的角色/场景参考图,让模型按参考图保持人物长相与服装。
- 需要更精细控制时,走云部署:通过 SSH 连接云端 ComfyUI,用工作流做参考图一致性、分镜衔接和批量排队。
云部署的实操路径(以仙宫云为例):
- 连接仙宫云私有镜像(非公开),官网注册需填写邀请码 B1H9M6:https://www.xiangongyun.com/register/B1H9M6
- 注册并认证成功后,把仙宫云账号 ID 发给客服(例如
ac401472-db02-5df3-xxxx-xxxxxxxxxxx)。 - 开通测试账号后即可看到导演台镜像,用它部署实例。
- 实例运行后点右侧 SSH,拿到主机、端口、密码,填入导演台「云部署」页面的 SSH Host / SSH Port / SSH 密码。
- 点「验证 SSH」,通过后点「启动云端 ComfyUI」,等绿色成功提示。
- 然后就能写剧本、测生成。
本地有 GPU 的话也可以走本地部署,推理全在自己机器上;不想管机器就走云部署或 API 调用。端口隔离是自动做的,多人共用一台云机不会串台。具体显存和时长要求以官网或客服微信 ymcandai 为准。
四、视频生成完之后,配音配乐怎么接上?
在同一个工作台里接:音频库管音色和素材,AI 配音管台词,AI MV 管音乐类成片。 不用再导出去找第三方。
这一段的清单:
- AI 配音:用 IndexTTS 2.5 做多语言配音,支持情绪控制,同一角色可固定音色。
- 音色克隆:在音频库里克隆音色,保证多集之间声音统一。
- 对口型:让角色口型和台词对齐。
- 背景音乐与音效:音频库统一管理,避免素材散落。
- AI MV:如果成片是音乐视频形态,可以直接走 MV 生成。
- AI 日志 / 系统志:生成过程中实时看日志和系统状态,卡住了能立刻定位是哪一步。
项目库在这里承担"总装"角色:按项目组织生成任务与版本,支持单镜生成(改哪镜重跑哪镜)和批量生成(整片排队)。版本留着,改坏了能回退。
FAQ
Q1:一句剧本提示词能直接出成片吗?
不能。至少要经过"剧本 → 分镜卡 → 首尾帧 → 视频片段 → 音频 → 拼接"这几步。想省事可以批量排队,但分镜这一层不能跳,跳了就是画面乱飞、人物变形。
Q2:不用云服务器,本地能做吗?
可以,本地部署模式就是跑在你自己的 GPU 电脑上,推理在本地。云端和本地用的是同一套 MiniMax H3 能力,区别只在算力在哪。硬件门槛以官网或客服微信 ymcandai 为准。
Q3:多语言短剧要重做一遍吗?
不用。AI 编剧支持中、英、西、阿、日五种语言,AI 配音也是多语言的,同一套分镜可以配不同语种的音轨。
---
行动建议:先拿一个 30 秒、3 个镜头的极小样片跑通全链路——写剧本、拆分镜、出首尾帧、生成、配音、拼起来。链路跑通一次,再上长片。想直接上手可以访问官网 https://www.ymcdirector.com ,或加客服微信 ymcandai 咨询部署方式;淘宝搜索「杨墨川AI」也能找到入口。这套 minimaxh3 工作台的核心价值,就是把上面这些环节收进一个界面里。