把短剧生产线做进 Timeline:ai-video-studio 开源了
这两年,AI 视频工具越来越多。
能生成一段惊艳 demo 的产品,不少。可真要把它放进短剧团队的日常生产里,问题马上变得很具体:剧本怎么拆?对白怎么对齐?镜头怎么替换?角色图、分镜图、视频片段、字幕、音轨,谁说了算?
我最近在做的 ai-video-studio,想先回答这个问题。
项目地址:
https://github.com/yfge/ai-video-studio
它适合谁
先把话说窄。
ai-video-studio 面向的是专业短剧/影视剧制作团队。它不追求“小白点一下生成大片”的爽感,也不把自己包装成通用 AI 视频玩具。
它更像一条生产线。
故事、分集、剧本、对白、音轨、分镜、clip、渲染、导出,一步一步往前推。每一步都留下结构化记录。哪一段对白对应哪一个镜头,哪一个 clip 用了哪张角色图,哪次重做替换了哪份视频资产,系统里都能查。
这件事听起来没那么酷。
可真做生产,酷不酷排第二。能不能复盘、能不能改、能不能继续交给下一个人接着干,才是硬需求。
核心思路:Timeline 第一
这个项目的主线很清楚:
audio -> timeline -> clip -> render -> export
Timeline 是单一事实来源。
过去很多 AI 视频链路会从故事板出发。先把整集拆成很多画面,再围着画面补对白、补音频、补剪辑信息。做 demo 可以,进入短剧生产就容易乱。
因为短剧的节奏很大程度上被对白和音轨卡住。
一句台词长了半秒,镜头长度就要变。某段情绪需要停顿,字幕、画面、音乐也要跟着动。这里如果没有一个统一的时间轴,后面每个环节都会各改各的。
所以 ai-video-studio 把 Timeline 放到中心。
音轨驱动时长。Timeline 承接 dialogue、video、subtitle tracks。图像生成、视频生成、分镜板,都围绕选中的 clip 服务。Storyboard 保留下来,但它是视觉支撑视图,不再抢主编排入口。
这也是我喜欢这个项目的地方:它没有把 AI 能力摆在台面上炫技,而是把生产秩序放在前面。
已经做到了什么
仓库里现在是一个可跑的工程系统,不只是概念稿。
后端是 FastAPI、SQLAlchemy、Alembic、Celery。前端是 Next.js 16、TypeScript、Tailwind。开发和生产都有 Docker 编排。
本地想快速体验,可以用 Lite 模式:
cd docker
./init_env.sh lite
./dev_lite_in_docker.sh
Lite 模式默认使用 SQLite,Celery 任务在进程内执行,并打开 AI mock 回退。它的意义很直接:先把主流程跑起来,不用一上来配置 MySQL、Redis 和一堆模型 key。
项目里已经有这些能力:
- 虚拟 IP、故事、分集、剧本管理
- 按故事形态分流的提示词体系,支持短剧、电视剧、电影
- 剧本生成、分镜生成、Timeline 生成
- 图像、文本、音频、视频模型集成
- OSS 资产存储
- Timeline render/export
- 选中 clip 的资产审计和替换历史
- re-dub、re-cut、re-render 的后端链路
- provider-backed 视频重做任务队列
- harness-first 的验证体系
其中最关键的一点,是主链已经能从 Timeline 走到最终导出。
字幕能从 Timeline subtitle track 烧进成片。对白音频可以按 Timeline timing 混入最终音轨。provider-backed 链路也跑过 30 秒样片的全流程验证。
这不是“看起来能跑”。
仓库里有 harness、trace、browser evidence、quality score、contract audit。工程上有债,也有明确记录。比如质量面板里会直接写出结构合规、浏览器证据覆盖、管线可靠性等指标。
我更相信这种项目。
它不假装完美。
为什么要开源
AI 视频应用现在有个尴尬点:大家都能调模型,真正难的部分在模型外面。
生产资料怎么组织。
任务失败怎么恢复。
生成资产怎么追踪。
一次重做怎么不破坏前面的时间轴。
不同 provider 的图片、音频、视频接口怎么塞进同一条链路。
这些东西没有截图那么好看,却会决定一个团队能不能每天稳定出片。
ai-video-studio 开源,是想把这部分工程拆开给大家看。你可以直接跑,也可以只看它的架构取舍:Timeline-first、harness-first、clip asset lineage、provider fallback、production proof。
如果你也在做 AI 视频、短剧自动化、影视工具链,或者正在琢磨怎么把 Agent 放进真实生产流里,这个仓库应该会有参考价值。
接下来
当前项目主线会继续围绕一件事收口:
让 audio -> timeline -> clip -> render -> export 更稳、更短、更像真实团队每天会用的东西。
不会急着扩成通用 SaaS。
不会急着加社交 feed。
也不会把“生成一段好看视频”当成终点。
短剧生产的终点不是一次生成。是反复改,反复换,反复导出,还能知道每次改动从哪里来。
这个项目就从这里开始。
GitHub:
https://github.com/yfge/ai-video-studio
