browser-use / video-use

browser-use/video-use

open_in_new前往仓库

使用编码代理编辑视频

项目概览

项目概述

video-use 是一个开源工具，旨在通过 Claude Code 等编码代理实现视频编辑。用户将原始素材放入文件夹，通过对话指示代理，即可获得编辑后的 final.mp4 文件。该项目由 browser-use 团队开发，采用 Python 编写，基于 MIT 许可证发布。

核心功能

  • 智能剪辑：自动去除填充词（如“umm”、“uh”）和拍摄间隙的静音。
  • 自动调色：为每个片段应用暖色电影感、中性色调或自定义 ffmpeg 链。
  • 音频淡入淡出：在每个剪切点添加 30ms 音频淡入淡出，避免爆音。
  • 字幕烧录：支持自定义字幕样式，默认使用两个单词的大写块。
  • 动画叠加：通过 HyperFrames、Remotion、Manim 或 PIL 生成动画，并并行子代理处理。
  • 自我评估：在渲染输出后，对每个剪切边界进行质量检查，确保无视觉跳跃、音频爆音或字幕隐藏问题。
  • 会话记忆：在 project.md 中持久化会话状态，便于后续继续编辑。

适用与不适用场景

适用场景：

  • 处理口播视频、混剪、教程、旅行记录、访谈等多种内容类型。
  • 需要快速、自动化地完成基础剪辑、调色、字幕添加等任务。
  • 适合有编码代理（如 Claude Code）使用经验的用户。

不适用场景：

  • 需要精细手动控制的专业视频编辑。
  • 对视频编辑有严格艺术要求的场景（项目强调“品味”自由，但生产正确性优先）。
  • 无 shell 访问权限或无法安装依赖的环境。

技术架构与依赖

  • 语言：Python
  • 依赖：ffmpeg（必需）、yt-dlp（可选，用于下载在线素材）、uv 或 pip 用于包管理。
  • 外部服务：ElevenLabs API（用于音频转录，需 API 密钥）。
  • 集成：支持 Claude Code、Codex、Hermes、Openclaw 等代理，通过技能（skill）目录注册。
  • 核心流程：转录 → 打包 → LLM 推理 → EDL（编辑决策列表）→ 渲染 → 自我评估。

安装与快速开始

手动安装：

  1. 克隆仓库并符号链接到代理的技能目录（如 ~/.claude/skills/video-use）。
  2. 安装依赖：uv sync 或 pip install -e .。
  3. 安装 ffmpeg（必需）和 yt-dlp（可选）。
  4. 复制 .env.example 为 .env，并设置 ELEVENLABS_API_KEY。

快速开始：

  • 将原始素材放入文件夹，在代理会话中运行 claude 或 codex，然后输入指令如“edit these into a launch video”。
  • 代理会分析素材、提出策略、等待确认后生成 edit/final.mp4。

典型使用方法

  1. 在代理中粘贴设置提示（setup prompt），自动完成安装和配置。
  2. 将素材放入指定文件夹，启动代理会话。
  3. 用自然语言描述编辑需求，代理会生成编辑方案并等待确认。
  4. 确认后，代理执行剪辑、调色、字幕等操作，并输出最终视频。

配置与部署要点

  • 环境变量：需配置 ELEVENLABS_API_KEY。
  • 技能注册：确保技能目录正确链接，代理能读取 SKILL.md 和 helpers/ 目录。
  • 输出目录：所有输出保存在 <videos_dir>/edit/，保持技能目录整洁。
  • 部署选项：可通过 Browser Use Box 在 VPS 或 Telegram 上运行，实现常驻编辑。

限制、风险与许可证

  • 限制：依赖外部 API（ElevenLabs），需网络连接和 API 密钥；LLM 不直接观看视频，而是通过转录和视觉合成图理解内容，可能遗漏某些视觉细节。
  • 风险：自动编辑可能不符合用户审美，需人工确认；自我评估循环最多重试 3 次，可能无法解决所有问题。
  • 许可证：MIT 许可证，允许自由使用和修改。

官方链接

信息来源和分析时间