getmaxun / maxun
getmaxun/maxun
🔥 开源无代码平台，用于网页抓取、爬虫、搜索和AI数据提取 • 几分钟内将网站转化为结构化API 🔥
项目概览
项目概述
Maxun 是一个开源的、无代码的网页数据平台，旨在将任何网站转化为结构化的 API。它支持数据提取、爬取、抓取和搜索，适用于从简单用例到复杂的自动化工作流。项目采用 TypeScript 编写，遵循 AGPL-3.0 许可证，并提供了托管版本和自托管选项。
核心功能
- 无代码数据提取：通过点击界面记录用户操作，生成可复用的提取机器人。
- LLM 驱动的提取：使用自然语言描述需求，由大语言模型完成结构化数据提取。
- 网页抓取：将完整网页转换为干净的 Markdown 或 HTML，并支持截图。
- 网站爬取：爬取整个网站，提取相关页面内容，并控制爬取范围。
- 自动搜索：执行自动化网络搜索，支持时间过滤。
- 开发者 SDK 和 CLI：提供编程接口和命令行工具，用于创建机器人、触发运行和获取数据。
- 调度与集成：支持定时运行、导出到 Google Sheets 和 Airtable，以及 MCP 集成。
- 自托管：支持 Docker 部署，用户可完全控制基础设施。
适用与不适用场景
适用场景：
- 需要从网站提取结构化数据，但不想编写代码的用户。
- 需要将网页内容转换为 Markdown 供 AI 工作流使用的场景。
- 需要定期爬取网站或执行搜索以收集数据的自动化任务。
- 需要将网站转化为 API 或电子表格的集成需求。
不适用场景：
- 需要高度定制化、非标准的数据提取逻辑，且无代码方式无法满足的场景。
- 对数据提取的实时性要求极高，且平台调度无法满足的场景。
- 需要处理极其复杂的反爬机制，且平台内置功能不足的场景。
技术架构与依赖
- 语言：TypeScript
- 框架：基于 Playwright 进行浏览器自动化。
- 后端：Node.js，使用 PostgreSQL 作为数据库，Redis 用于缓存，MinIO 用于对象存储。
- 前端：React（推断，仓库资料未提供具体框架）。
- 部署：支持 Docker Compose，包含后端、前端、PostgreSQL、Redis 和 MinIO 服务。
- 依赖：需要 Docker、Docker Compose、Web 服务器（如 Nginx）和 SSL 证书（自托管时）。
安装与快速开始
托管版本
最简单的方式是使用官方托管版本：https://app.maxun.dev。
本地安装
Maxun 支持 Docker 和非 Docker 方式安装。
Docker Compose 安装
- 创建目录并准备环境变量文件
.env，包含数据库、Redis、MinIO 等配置。 - 创建
docker-compose.yml，定义 postgres、redis、minio、backend 和 frontend 服务。 - 运行
sudo docker compose up -d启动服务。 - 访问
http://localhost:5173（默认前端端口）。
非 Docker 安装
请参考官方文档：https://docs.maxun.dev/installation/local。
典型使用方法
- 创建提取机器人：在界面上录制操作，或使用 AI 模式描述需求。
- 运行机器人：手动触发或设置定时调度。
- 获取数据：通过 REST API、SDK 或导出到 Google Sheets/Airtable。
- 使用 CLI：在终端中创建机器人、触发运行和获取数据。
配置与部署要点
- 环境变量：必须正确设置
JWT_SECRET、DB_PASSWORD、ENCRYPTION_KEY等敏感信息。 - 反向代理：生产环境需配置 Nginx 等反向代理，并启用 HTTPS。
- 资源限制：建议为容器设置内存限制，如后端 4GB、前端 512MB。
- 浏览器沙箱：可能需要设置
seccomp=unconfined和shm_size以解决浏览器问题。 - 升级：参考官方文档进行升级，注意备份数据。
限制、风险与许可证
- 许可证：AGPL-3.0，商用需注意开源义务。
- 风险：网页结构变化可能导致提取失败，需定期维护；自托管需自行保障安全。
- 限制：仓库资料未提供具体限制，如并发数、数据量等。
官方链接
- 官网：https://www.maxun.dev
- 应用：https://app.maxun.dev
- 文档：https://docs.maxun.dev
- GitHub：https://github.com/getmaxun/maxun
- Discord：https://discord.gg/5GbPjBUkws
- YouTube：https://www.youtube.com/@MaxunOSS
信息来源和分析时间
- 信息来源：GitHub 仓库 README、CONTRIBUTING.md、docs/self-hosting-docker.md、最新发布信息。
- 分析时间：2026年8月3日（基于最新发布 v0.0.45 的日期）。