calesthio / OpenMontage

calesthio/OpenMontage

open_in_new前往仓库

全球首个开源智能视频制作系统，包含12条制作管线、100多种工具、700多个智能体技能与制作知识文件，可将AI编程助手转变为完整的视频制作工作室。

项目概览

项目概述

OpenMontage 是一个开源的、智能体驱动的视频制作系统，旨在将 AI 编程助手转变为完整的视频制作工作室。它提供 12 条生产流水线、100 多个工具以及 700 多个智能体技能和生产知识文件。用户可以用自然语言描述需求，智能体将自动完成研究、脚本编写、素材生成、剪辑和最终合成。该项目强调真实视频制作，支持从免费/开源素材库构建真实镜头视频，而不仅仅是动画静态图片。

核心功能

  • 12 条生产流水线：涵盖动画解说、动画、虚拟形象代言、电影感、片段工厂、纪录片蒙太奇、混合、本地化与配音、播客再利用、屏幕演示、对口型视频等。
  • 100+ 生产工具：包括视频生成、图像创建、文本转语音、音乐、音频混合、字幕、增强和分析工具。
  • 700+ 智能体技能与知识文件：提供流水线导演、创意技巧、质量检查清单和深度技术知识包。
  • 参考视频驱动创作：粘贴参考视频，智能体分析其节奏、场景、关键帧和风格，生成差异化制作方案。
  • 真实镜头纪录片制作：从免费/开放素材库（如 Archive.org、NASA、Wikimedia Commons）构建可搜索语料库，检索真实运动片段并编辑成片。
  • 实时网络研究：脚本编写前进行 15-25 次网络搜索，确保内容基于真实、最新信息。
  • 免费/本地与云提供商双支持：每个能力都支持开源本地替代方案和高级 API。
  • 无供应商锁定：7 维评分选择器自动选择最佳提供商。
  • 生产级质量门禁：包括交付承诺执行、预合成验证、渲染后自检（ffprobe、帧采样、音频分析）。
  • 预算治理：执行前成本估算、支出上限、单次操作审批阈值。

适用与不适用场景

适用场景：

  • 教育内容创作者需要快速生成解说视频。
  • 社交媒体营销人员需要制作短视频、宣传片。
  • 纪录片制作者希望利用免费/开放素材制作真实镜头视频。
  • 企业培训、产品演示、播客营销等需要视频化的场景。
  • 希望利用 AI 编程助手（如 Claude Code、Cursor、Copilot）自动化视频制作流程的开发者。

不适用场景：

  • 需要完全离线且无任何 API 密钥的简单视频编辑（虽然支持本地工具，但完整功能依赖外部服务）。
  • 对视频质量有极高要求且预算有限（高质量视频生成通常需要付费 API）。
  • 需要实时视频生成或低延迟交互的场景（生成过程耗时较长）。
  • 非技术用户可能难以配置环境（需要 Python、Node.js、FFmpeg 等）。

技术架构与依赖

OpenMontage 采用智能体优先架构，没有代码编排器，AI 编程助手本身作为编排器。核心组件包括：

  • Python 工具层：提供 100+ 工具，涵盖视频、音频、图形、增强、分析、虚拟形象、字幕等。
  • 流水线定义：YAML 清单定义阶段、工具、审查标准和成功门禁。
  • 技能文件：Markdown 指令文件指导智能体如何执行每个阶段。
  • 检查点系统：JSON 状态持久化，支持恢复和审计。
  • 预算治理：成本跟踪器实现估算、预留、对账。
  • 渲染引擎：Remotion（React 基础）、HyperFrames（HTML/CSS/GSAP）、FFmpeg。

主要依赖：

  • Python 3.10+
  • FFmpeg
  • Node.js 18+（Remotion 需要）
  • 可选：GPU（本地视频/图像生成）、Piper TTS、ManimCE 等。

安装与快速开始

前提条件

  • Python 3.10+
  • FFmpeg
  • Node.js 18+
  • AI 编程助手（Claude Code、Cursor、Copilot、Windsurf 或 Codex）

安装步骤

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

如果没有 make，可手动执行（macOS/Linux）：

python3 -m venv .venv && source .venv/bin/activate && python -m pip install -r requirements.txt && cd remotion-composer && npm install && cd .. && python -m pip install piper-tts && cp .env.example .env

Windows PowerShell 用户请参考 README 中的相应命令。

快速开始

在 AI 编程助手中打开项目，输入例如：

"Make a 60-second animated explainer about how neural networks learn"

或使用真实镜头路径：

"Make a 75-second documentary montage about city life in the rain. Use real footage only, no narration, elegiac tone, with music."

智能体将自动执行研究、脚本、素材生成、编辑和渲染。

典型使用方法

从参考视频开始

"Here's a YouTube short I love. Make me something like this, but about CRISPR for high school students."

零 API 密钥路径

"Make a 45-second animated explainer about why the sky is blue"

免费真实镜头纪录片

"Make a 90-second documentary montage about what a city feels like at 4am. Use real footage only, no narration, elegiac tone."

使用图像/视频提供商（约 $0.15–$1.50）

"Create a 30-second Ghibli-style animated video of a magical floating library in the clouds at golden hour"

完整设置（约 $1–$3）

"Create a cinematic 30-second trailer for a sci-fi concept: humanity receives a warning from 1000 years in the future"

配置与部署要点

环境变量

在 .env 文件中配置 API 密钥，所有密钥均为可选。常见变量包括：

  • FAL_KEY：FLUX 图像 + Google Veo、Kling、MiniMax 视频等。
  • OPENAI_API_KEY：OpenAI TTS、GPT Image 2。
  • ELEVENLABS_API_KEY：高级 TTS、音乐、音效。
  • GOOGLE_API_KEY：Google Imagen、Google TTS。
  • PEXELS_API_KEY、PIXABAY_API_KEY、UNSPLASH_ACCESS_KEY：免费素材。
  • SUNO_API_KEY：音乐生成。
  • KLING_API_KEY：Kling 官方 API。
  • RUNWAY_API_KEY：Runway Gen-4。
  • VIDEO_GEN_LOCAL_ENABLED：启用本地 GPU 视频生成。

部署要点

  • 本地 GPU 生成需要 NVIDIA GPU 和 CUDA，或 Apple Silicon MPS。
  • 渲染引擎选择在提案阶段锁定，不能静默切换。
  • 预算控制默认总上限 $10，单次操作审批阈值 $0.50。
  • 质量门禁强制执行，渲染后自检失败不会呈现视频。

限制、风险与许可证

限制：

  • 依赖外部 API 提供商，部分功能需要付费密钥。
  • 本地 GPU 生成需要较高硬件配置。
  • 智能体行为依赖 LLM 能力，可能产生幻觉或错误。
  • 文档中提到的某些功能（如 ComfyUI 适配器）可能尚未实现或处于实验阶段。

风险：

  • 使用第三方 API 可能产生费用，需注意预算控制。
  • 素材版权问题：免费素材库可能有使用限制，需遵守各自许可。
  • 安全风险：智能体可能执行恶意指令，需谨慎处理外部内容。

许可证：

  • GNU AGPLv3。

官方链接

信息来源和分析时间

信息来源：

  • GitHub 仓库 README、文档（ARCHITECTURE.md、PROVIDERS.md、PR_REVIEW_GUIDE.md、SPONSORS.md、apple-silicon-mps.md、comfyui-adapter-plan.md）
  • 仓库元数据（描述、主题、许可证）

分析时间：

  • 2026年5月14日（基于仓库内容推断，实际分析时间可能不同）