技术

Claude Code、Codex 与 Seedance 做 AI 视频:从想法到成片

2026-11-06 · 6990 字 · 阅读约 20 分钟

这篇整理自 Eian 11 月 5 日发在 X 上的长文,280 多万浏览,讲怎么用 Claude Code、Codex、Seedance 做一条 AI 视频。全文分工具层和实操两部分,我按原帖的结构整理,要点和做法都保留,10 段提示词都按要点展开写细了,完整版见文末原文链接。

这篇只解决一个问题:靠一套多模型工作流,用尽量少的钱、尽量低的抽卡率,做出一条自己满意的 AI 视频。

工具层:Claude 当总导演

用到的模型一共三个,Claude Code、Codex、Seedance,再加 ffmpeg 和 Python 两个工具。Claude Code 是总导演,Codex 和 Seedance 都接入 Claude,由 Claude 调用,全程只需要和 Claude 沟通,不用切窗口,也不用到处复制粘贴。没有 Claude 也可以用 Codex 顶,审美差一点,活都能干。Seedance 走即梦 AI 的 Seedance 1.0 Pro API,火山引擎开通后接入 Claude。

角色 负责
我 选方向、确认画风、批准花钱;看动态、听声音
Claude(导演) 写故事和分镜,写所有提示词,检查每张图和每段视频,写代码做后期
Codex(画师) 画设定图、样帧、每镜的首尾帧
Seedance(动画师) 把首尾帧变成几秒钟的视频

这套分工有个核心原则:错越早发现越省钱。文字改几个字不花钱,图重画一张不额外花钱,视频重新生成要按秒付钱。文字里能发现的错,别留到图上;图上能发现的错,别留到视频上。

总导演设定

做视频前,先把这段设定发给 Claude,让他当这支短片的总导演,全程负责,只和他沟通:

  1. 开工前先问清楚:片长、画幅、总预算、要不要配乐和字幕。
  2. 检查 Codex、ffmpeg、Python 和 ARK_API_KEY 能不能正常用,发现缺什么、哪个坏了,第一时间告诉我,别开工;有的工具用不了就直接绕开,别卡住;下次开工不用再检查。
  3. 总导演的活:写故事,定分镜,把每一镜要画的图和要生成的视频列清楚;写所有给 Codex 的生图提示词和给 Seedance 的生视频提示词;检查每张图和每段视频,看画面对不对;用代码做剪辑和调色。
  4. 遇到要花钱的地方(生成图片和视频),先告诉我花多少、为什么,然后再干。
  5. 重要事情都别自己猜,问清楚再动。
  6. 保持简洁,进度条用自己记下来的时间线,严格按进度更新。
  7. 视频写完之后,先按自查清单认真检查一遍,不确定的项自动再开一个 agent 来审核,不要猜,再发送给审核 agent 审。
  8. 所有文件放在新建的 output 目录,每个文件单独保存,不要放一起,用时间戳命名,每次都生成目录结构树给我。

从想法到完整剧情

先把初步想法讲给 AI,不用太详细,聊到完整故事定下来。好故事有几个标准:每个转折按现实追问一遍,为什么会这样、东西从哪来、够得着吗、现实里真会这样吗;一句话说清这支片子想表达什么,说不出来就说明剧情平淡,得改;最抓眼球的画面放前面,观众几秒就划走;旁人的反应要像真人,每个包袱或转折分三段写,问题、主角怎么解决、旁人什么反应,反应要有先后,几个人同一秒举手一看就是模型做的;画面要 AI 拍得出来,人物交叉、手拿小东西、文字、镜子和倒影、左右不对称、一镜内换光、一人连做三个动作、俯拍看不到脸、配角太多,这些都容易抽卡,写剧情时就避开;结构首选片段式,每个镜头不用接戏,连贯式最容易穿帮。

完善故事的提示词

发给 AI 的内容要包括:我想做的片子(一句话,或者初步剧情);片长(秒);配歌(歌名、时长、BPM,不配歌就删掉);参考片(有就写,没有就删掉)。让他先把想法完善成一个完整的故事,有不清楚的地方就问,一起把这一步做到位,OK 了再往下走。写的时候按镜头推进,每个镜头写清楚干什么、为什么、结果怎么样,结果怎么样包括其他人的反应;注意逻辑,细到每句话追问一遍:为什么会这样、东西从哪来、够得着么、现实里这么办吗。写好之后,他自己先审一遍,再把时间线、重点、空间和道具列成一页。

审核故事的提示词

故事定稿后,另开一个 agent,只给它故事,让它只负责挑错,不改文件。主 agent 和你聊了很久,会自动脑补;新 agent 什么都不知道,像第一次看片的观众,哪里看不懂,哪里就真的没讲清楚。审核按这几条来:

  1. 只按镜头顺序读,先写出看懂的故事。
  2. 按顺序追问每个转折:为什么会这样?东西从哪来?够得着吗?现实里真会这样吗?
  3. 能用一句话说清想表达什么吗?写下来。
  4. 开头最抓人的画面是什么?排在前面吗?
  5. 每个包袱和转折都分 3 段写了吗:问题、主角解决、旁人反应?反应有没有先后?
  6. 哪些画面 AI 很难一次拍到:人物交叉、手拿小东西、文字、镜子和倒影、左右不对称、一镜换光、一人连做三个动作、俯拍看不到脸、配角太多?
  7. 剧情是片段式还是连贯式?连贯的接点写清楚了吗?

按最要改在前、最轻在后,只列问题和怎么改,不要改故事。后面几步的审核也一样,只给它故事,不给任何结论,让它根据要求看一遍,给出修改结论。

分镜:镜头语言、构图和配色

这是前期最重要的一步,决定片子质量,构图和配色比剧情还重要。镜头语言很难用语言描述,最有效的办法是找参考片,让 Claude 逐帧看,把机位、进出画比例量出来,学习模仿。没有参考片,就按要求构思,每个镜头写清景别、机位、运镜、谁往哪走(写画面左右)、靠什么表情推进、怎么转到下一镜。

几点要求:全片平视正面最多两次,其余用俯拍、仰拍、从背后、过肩、透过东西拍;画面里一直有东西在动,人走、东西动、镜头动、焦点换、光在变、前景飘过、人物小动作,至少一样,不然画面就死了;镜头运动要有理由,跟着东西或人物走、慢慢推近给特写、从近拉远;每一秒截图都要好看,人的头或眼睛落在画面 38% 或 62% 的位置,不放正中间;配色先定好,每场颜色列成色表,画面转黑白检查一遍,人和背景分不开就说明明暗对比不够,重新调。

写分镜表的提示词

把定稿的故事写成分镜表,每个镜头一行,写清楚:片中时间(配歌就按小节算)、生成秒数(片中时长向上取整,尽量多留 0.5 秒)、景别、机位、运镜、谁往哪走(写画面的左右)、靠什么表情推进、这个镜头是什么在动、怎么转到下一镜、每镜生成用的图片有哪几张。要求一共七条:

  1. 全片平视正面最多两次,其余用俯拍、仰拍、从背后、过肩、透过东西拍。
  2. 每个镜头至少有一样东西在动:人走、东西动、镜头动、焦点换、光在变、前景飘过、人物小动作。
  3. 摄影机动要有理由:跟东西走、慢慢推近给特写、从近到远拉开。
  4. 每一秒截图都要好看,人的头或眼睛落在画面 38% 或 62% 的位置,不放正中间。
  5. 一镜最多一个主要动作,不要连着几镜都用同一种景别。
  6. 配色按色表来,每场颜色分开列。
  7. 转场要写清楚用什么东西盖屏或带过去。

写完以后按上面要求自己先检查一遍,再发给我。

画风与设定图

画风就是这部片子的绘画风格,宫崎骏式手绘柔和温暖、线条简单的剪纸风、写实风、美式手绘线条感,都可以,有参考图最好,直接发给 AI。Claude 写提示词,Codex 画,人只管看是不是想要的风格。画风定下来,再给每个角色和固定道具画设定图,正面、侧面、几个表情,等于把长相定下来。人物身上固定的东西写清位置,纹身在左手臂上之类,不然每张图纹身位置都可能不一样。

首尾帧:降低抽卡率最关键的一步

首尾帧是每个镜头的第一张画面和最后一张画面。只靠文字生成视频,模型很容易出逻辑错误;雨、帽子、纹身这类小物件只写在文字里不行,经常拍着拍着就没了,必须在首帧和尾帧都画上。

画的时候按这个顺序:别一上来就开画,先让 AI 把每镜的首帧画什么、尾帧画什么、中间发生什么写出来,审核过了再画,省 Codex 额度;先画内容最多的那张,一般是尾帧,再在尾帧上改出首帧,保证机位和构图一致;同一地点、同一机位的镜头,直接在前一张图上改,Codex 支持局部改动;推近的镜头,尾帧可以直接把首帧裁一块放大,构图完全一样就等于镜头不动;Codex 出的图不一定正好是 16:9,提交 Seedance 之前检查一遍,提前裁好,首尾帧尺寸保持一样。

检查首尾帧的提示词

首尾帧画完了,按下面这些逐条检查,每张图都要放大看。有问题就说清楚是哪张图、哪里不对,同意了再改。材料是首帧、尾帧、设定图、这个镜头的分镜:

  1. 动作要用到的东西,首帧里必须有。比如要写字,首帧里笔必须在手上;要走路,首帧里脚尖和手臂必须朝向要走的方向。
  2. 只在首帧和尾帧都有的东西,才能出现在视频里。
  3. 动作有前后两个状态(比如摘帽子、关门、把东西放下),尾帧必须是完成后的样子。
  4. 摆拍动作要像真的:手要握住东西,脚要踩在地上,力量要对,否则手一动就露馅。
  5. 雨、帽子、纹身这种小物件,首帧和尾帧都要画上,而且不能变。
  6. 左右的纹身、单边耳环和伤口,位置要和设定图一样,不能换。
  7. 字母和数字不能有错别字。
  8. 画中画里那张小画的画风和内容,必须和主画面一致。
  9. 画面里不能出现不属于这个片子的东西。
  10. 左右位置要和分镜写的一样:比如画面左侧的石头房子的窗口里;画面右侧的人。
  11. 放大镜片不挡住手上的字,避免反光反字;这张图不要画任何会读出音的字画。

视频提示词与提交前审核

出了问题先怀疑提示词。固定用七段式,把每一秒发生什么写下来:

  1. 画风:一句话写画风,比如干净的现代 2D 手绘动画,平涂色块,线条利落,没有颗粒和纹理,整段的画风、颜色、人物设计与首帧和尾帧完全一致。
  2. 镜头:整段几秒,景别,机位,运镜,不写“推近”就不推近,不写的不做;小节时间,没有配歌就删掉。
  3. 人物和道具:主人公和主要道具,手上和身上有什么、每个人的表情和姿态是什么。
  4. 动作流程:按时间写这个镜头发生的事,写画面里的左右方向;风、云和物体的运动都归到这边的动作里,别放到画面的整体氛围里。
  5. 人物动作时间表:动作开始在第几秒,动作结束在第几秒,写清每一件动作的顺序,别写“同时”这个词。
  6. 画面一直保持不变的:画面里一直只有首帧这几个人。
  7. 按这个固定格式写,黄色、高亮、好看、宽幅、动画质感这类并排的词语不要写进提示词里。

模型常犯的错:对照表

模型容易犯的错 应该怎么写
一群人同时做同一个动作 写清楚谁先谁后,父亲第一个,过一两秒祖母再举,孩子最后举;首帧也不要摆同一个姿势
本来该风做的事,人自己动手做了,比如邮差用手掀开邮包 写清楚原因,再写上两只手从头到尾都没有碰邮包
云、月亮、植物长出眼睛和嘴巴 不要写“卡通云”,要写蓬松的灰白色积云,只有棉絮一样的纹理和阴影,动作也只写它怎么移动
人往反方向走 方向要按画面来写:朝画面左边走,跨过左边的店门
一句话有两种意思,比如写“窗户后面的老人”,结果车里冒出了人 写得更具体:左上角石头房子的窗口里,再加上驾驶座一直空着
东西的数量变了 把数量直接写出来:黄色信封只有一封,之后怀里抱的全是白色信封
写“不要怎么样”经常没用,比如写了“壶嘴不出水”还是出水 尽量改成正面的说法:画面里一直只有首帧这几个人
模型会自己联想道具的用法,比如壶总是出水 干脆不让这个道具出现在有动作的镜头里
东西凭空出现 只用首帧里已经有的东西
东西突然飞走或者瞬间移动 写清楚它是怎么动的:顺着后脑勺往后一滑,接住,扣回头上
雨、帽子、纹身拍着拍着就没了 首帧和尾帧都画上
闪电画得太写实 写“云里闪一下白光”,再把开头剪掉
一个镜头动作太多就乱了 每个镜头只写一两个主要动作
动作的时间和写的不一样 写的时间只能算大概,多留一点时间,后期再用剪辑和变速对上节拍
镜头推得没有写的那么明显 后期让 Claude 用代码再推一点
人的嘴自己在动 写明“人物不说话”,还动就用代码修
写了“没有音乐”还是混进了音乐(Seedance 2.5) 片段自带的声音不用,后期另外加
结尾几帧突然跳到尾帧的样子(Seedance 2.5) 后期选一张没问题的画面,后面都停在这一张
第一张画面特别锐(Seedance 2.5) 直接把这一张去掉
视频越到后面越暗越冷(Seedance 2.0 mini) 每条视频都按它自己的首帧把颜色调回来

提交前审核的提示词

每条视频提交之前,都要另开一个 agent,把提示词和图片的每个细节核对一遍。它审核通过之后才能提交给 Seedance。这一步非常有用,帮他查出过很多问题,比如两张图里的杯子大小差了 13%,帽檐一张有一张没有,左右写反了,也是他抽卡率极低的原因。

审核 agent 只读不改,材料是提示词文件、首帧、尾帧、设定图、分镜表、配色规则,逐项核对,放大看图:

  1. 提示词的每句话和两张图对得上吗?比如画风、颜色、人物外观和道具、动作流程、出现的人物和动物数量。
  2. 提示词里的每个动作:动作开始在第几秒?动作结束在第几秒?每件动作后面的句都符合吗?
  3. 首尾帧变化要连得上:检查尾帧出现的动作元素,如果动作元素只在尾帧里出现,视频里就会凭空跳出来。
  4. 这个镜头里一共有几个人?每个人正在做什么?

把问题和具体修改的方法列出来,不要直接跳去改,改之前的提示词先看一遍。再写一句明确的结论:“通过,可以提交”或者“不通过,改了再审”。注意:这一步开始的时间不对,晚几帧没关系,动作过程别漏了。

生成视频与省钱

这一步都是 AI 自动完成,不用管。省钱的办法:用 720p 生成,后期再放大到 1080p;不用专门拍测试片,直接拍第一个正式镜头,能用就赚了;新做法先拿一两个最难的镜头试,行得通再全部提交;想清楚要不要用 Seedance 2.5,价格差不多是 2.0 mini 的 3 倍,预算紧就用 2.0 mini,一般的镜头,2.0 mini 就够了;声音听过再用,2.0 mini 自带的音效经常能直接用,2.5 就算写了没有音乐,有时还是会混进音乐。

出了问题别马上重拍,重拍又得花钱。先看能不能剪掉,问题只在开头或结尾几帧,直接剪掉就行。再看能不能用代码修,让 Claude 写代码修,修不好再考虑重拍。重拍先改提示词或首尾帧图片,不然原样再拍一次大概率还是错。重拍完旧片段也别删,重拍的新片段不一定比旧的好,都留着,放在一起挑。

后期:拼接、转场、调色、放大

视频一段一段生成,生成完拼在一起,再加转场、调色、放大,全部用代码做,让 Claude 做。

做后期的提示词

  1. 转场:哪一镜到哪一镜,用什么东西盖屏或带过去;运动模糊切 8–16 份,半帧快门。
  2. 调色:按故事分段;只调彩度和亮度,不动色相,强调色受保护,肤色不变;不加颗粒、柔光、暗角;亮度、对比度、饱和度手工调,不用现成的滤镜;指定每个块对应哪个镜头,颜色一致。
  3. 放大:只放大指定好的镜头图片。
  4. 声音:输出哪些声音。
  5. 需要先检查拼接、转场、亮度、饱和度、渐变有没有突变,检查的方法写上,检查的对应关系写出来。
  6. 每一次修改都要保留一个不改的旧结果,越做越快,把上次改好的结果在自己的视频前面参考下。
  7. 把成片和单镜对照,某个镜头的处理方式确定后,就按上次的做法来。

全片复核与交付

复核再开一个审核 agent,只给它成片,不告诉它任何结论,让它像观众一样从头看一遍。

全片复核的提示词

  1. 全部解码,每镜取多张全分辨率帧,切点前后各取 3 帧。
  2. 先写看懂的故事,再列看不懂的地方。
  3. 逐镜查:重复的动作、道具数量、穿帮、突跳、接不上、表情不像、主角和配角的重量有没有问题。
  4. 只列问题,不要改,也不要给结论;给每个问题说一个修改方法:能不能剪掉、能不能用代码修、还是必须重新拍,拍之前先改哪里(提示词还是首尾帧)。
  5. 按问题从大到小排,只列这一步最要改的三个。
  6. 如果你发现你自己也有疑惑,先列出来,别自己猜。
  7. 再检查一遍没有犯过的错:比如同一秒一起举手、一句话有两种意思、画面里的人数不对、东西凭空出现、雨和帽子中途没了、手和脚的动作不对劲、没有音乐但混进了一段音乐。
  8. 每一镜截图都按黄金比例检查,头或眼睛是不是在 38% 或 62%。
  9. 按时间顺序把每个问题列出来。
  10. 写一句话结论:有没有问题?问题大不大?确定问题了吗?

把画风、提示词、犯过的错误存下来,每次做视频的经验就沉淀下来了。

四线程工作模式

针对 Claude 或 Codex,也就是导演,开四个 agent 一起配合:主做全程负责,从故事、分镜、画风、设定图到首尾帧、视频提示词、生成视频、后期、复核、交付;审核每一步都要先写通过,主做才能继续,提交前必须先过审核;监督把说过的所有要求列成清单,盯着大家有没有忘记和改动,记录哪里改了、为什么改;代理按平时的选择替做决定,在事先同意的预算内批准提交,主做要花钱先找代理批准,代理看预算就能决定。四个 agent 之间可以互相检查,随时质疑,有问题先停下来,再讨论。

四线程的提示词

这支片子用四线程来做。主做再开三个子 agent,四个一起配合,一直做到片子做完,或者账户欠费为止。说过的话在对话记录或者要求文件里,Claude Code 的记录在 ~/.claude/projects/ 里,按时间找最新的 JSONL;Codex 的记录在 ~/.codex/sessions/ 里。每个子 agent 只做自己的事,互不插手。主做全程负责,从故事、分镜、画风、设定图到首尾帧、视频提示词、生成视频、后期、复核、交付。审核每一步都要先写“通过”,主做才能继续,主做提交前,必须先过审核。监督把所有的要求和约定列成一个清单,盯着大家有没有忘记和改动,记录在哪里改了、为什么改。代理按平时的选择替做决定,在事先同意的预算内批准提交,主做如果需要花钱,先找代理批准,代理看预算就能决定。四个 agent 之间可以互相检查,可以随时质疑,如果有问题,先停下来,告诉我,再讨论。

原文链接:Claude code/Codex+Seedance AI视频:从一个想法到成片的全流程(作者 Eian,发布于 X)