AI 测试工具平台：https://github.com/ywq2019/ai_test_agent

基于 AI 大模型 + LangGraph + Playwright 的智能化零代码全场景自动化测试平台，覆盖 WebUI 自动化 / 接口自动化 / 渗透测试 三引擎，支持 Claude / DeepSeek / GPT / Gemini / Ollama 等任意模型一键切换。

📐 设计思路与技术决策 →

快速部署

Docker 一键部署（推荐）

环境要求： Docker 20.10+（含 Docker Compose v2）

git clone https://github.com/ywq2019/ai_test_agent.git
cd ai_test_agent

编辑 .env.docker，修改以下配置（其余保持默认即可）：

docker compose up -d

访问 http://服务器IP:4000，默认账号 admin / admin123，登录后立即修改密码。

# 更新
git pull && docker compose up -d --build

# 查看日志
docker compose logs -f app

# 停止
docker compose down

数据备份：数据库和文件存储在 Docker 命名卷 pg_data / app_data 中。迁移时一并复制即可。

docker volume inspect ai_test_agent_pg_data   # 查看实际路径

升级说明：新版本在服务启动时自动执行数据库迁移，直接 --build 重启即可，无需手动操作。

浏览器说明：Docker 镜像基于官方 mcr.microsoft.com/playwright/python:v1.39.0-jammy，Chromium 已内置，无需额外安装。本地开发（Windows） 需手动安装并配置 PLAYWRIGHT_BROWSERS_PATH 指向浏览器目录（.env 文件已有示例）。

可选：ARQ 任务队列（多 Worker）

默认使用进程内 BackgroundTasks，任务重启后丢失。需要持久化任务队列时启用：

# .env.docker 中取消注释并填写：
REDIS_URL=redis://redis:6379/0

# 启动时加 --profile worker
docker compose --profile worker up -d

# 可独立横向扩容
docker compose --profile worker up -d --scale worker=3

可选：Nginx 反向代理

默认不启动，需要域名 / HTTPS 时使用：

# 编辑 nginx.conf，填写域名，按需取消 SSL 注释
docker compose --profile nginx up -d

本地启动

环境要求： Python 3.11+，Node 18+

# 1. 克隆项目
git clone https://github.com/ywq2019/ai_test_agent.git
cd ai_test_agent

# 2. 配置文件（git clone 不包含 .env）
cp .env.docker .env
# 编辑 .env，至少填写 AI_API_KEY 和 AI_API_URL
# 本地启动使用 SQLite，DATABASE_URL 保持默认即可

# 3. 安装 Python 依赖
pip install -r requirements.txt

# 4. 安装 Playwright 浏览器
playwright install chromium
# Linux 还需要（Mac/Windows 跳过）：
# sudo playwright install-deps chromium

# 5. 构建前端
cd ui && npm install && npm run build && cd ..

# 6. 启动
python main.py   # 访问 http://localhost:4000

开发模式（前端热更新）：

python main.py          # 终端1：后端 4000
cd ui && npm run dev    # 终端2：前端 8090（代理到后端）

本地 vs Docker 数据库

	本地启动	Docker 部署
数据库	SQLite（项目根目录 uitest_agent.db）	PostgreSQL（Docker 卷 pg_data）
RAG 向量检索	降级为关键词匹配（不支持 pgvector）	pgvector 完整支持
数据位置	项目根目录下 .db 文件	Docker 命名卷
数据互通	❌ 两边数据不互通	—

建议生产环境直接使用 Docker 部署，避免后续迁移麻烦。

核心功能

AI 用例生成（文档驱动）

上传需求文档，AI 按功能模块并行生成覆盖 6 种测试方法的高质量用例。

WebUI 自动化

Playwright 驱动浏览器，以「AI 场景规划 → 录制 → 健壮化 → 执行」为主线，用最少的脚本维护成本覆盖完整 UI 测试流程。

📖 步骤编辑详细说明请参阅 WebUI 步骤编辑操作手册

接口自动化

从「项目 → 用例 → 执行 → 报告」全链路打通，支持 Swagger / 代码分析 / 自然语言三种用例来源，内置参数化引擎、前置依赖、CSV 数据驱动、压力测试和 PDF 报告，适用于日常接口回归与 CI/CD 集成。

项目与鉴权管理

AI 用例生成

AI 生成链路优化：真实接口探测 → JSON Mode 强制输出 → 容错补全（缺失字段自动填充）→ 模块名校验（防幻觉）→ json_path 自检，确保生成质量。

参数化与前置依赖

执行、压测与报告

Mock 服务

轻量 HTTP Mock，无需依赖真实后端即可联调前端。

测试计划

跨项目接口用例编排，共享变量上下文（登录 → 下单 → 查询）。

接口渗透测试

基于接口自动化项目中已有的用例，对目标 API 发起安全扫描，自动发现 OWASP API Top 10 及常见漏洞，每条漏洞由 AI 生成定制修复建议，并支持 PDF 报告导出。

⚠️ 声明：本功能仅面向已授权的安全测试场景（内部测试、渗透测试授权委托书、CTF）。请勿对未授权目标使用。

12 个扫描模块覆盖：未授权访问、越权（IDOR）、敏感信息泄露、SQL 注入、JWT 安全缺陷、速率限制缺失、批量赋值、CORS 配置错误、HTTP 动词篡改、SSRF、文件上传漏洞、文件下载路径穿越。

工作空间

多租户隔离的顶层单元，一个工作空间对应一套独立的测试数据。

稳定性与安全

多用户并发

数据隔离

工作空间级：AI 用例、WebUI 任务、接口项目、测试计划均挂在工作空间下，成员只能访问所在空间的数据。

用户级：未挂载工作空间的数据，普通用户只能看到自己创建的记录；admin 可查看全部。服务启动时自动将历史 NULL 数据归属到默认管理员账号，升级无感知。

执行隔离：每条用例独立 Playwright Context，cookie / session / storage 完全隔离，多用户并发执行互不影响。

自愈与告警

CI/CD 集成

# 1. 生成 webhook token（需登录）
curl -X PUT "http://your-host:4000/api/v1/test-plans/1/webhook-token" \
  -H "Authorization: Bearer <JWT>"
# → {"webhook_token": "xxx", "trigger_url": "..."}

# 2. 在 Jenkins / GitHub Actions 里触发
curl -f -X POST "http://your-host:4000/api/v1/test-plans/1/trigger?token=xxx"

# 3. 可选：执行完成后回调
curl -f -X POST "...?token=xxx&callback_url=https://ci.example.com/hook"

AI 集成

所有 AI 功能统一读取「大模型配置」页，自动判断 Anthropic / OpenAI 格式，支持一键切换：

Prompt 统一管理在 skills/prompts/*.yaml，无需重启即可生效（懒加载 + LRU 缓存，修改 YAML 后下次调用自动读新版本）。

技术栈

接口说明

完整文档：http://localhost:4000/docs

WebSocket 频道（连接地址：ws://host:4000/ws?client_id=<频道>）

项目结构

ai_test_agent/
├── main.py                      # 入口：JWT 中间件、启动恢复、孤儿文件清理、调度器初始化
├── Dockerfile                   # 多阶段构建：前端 Node → 生产 Playwright Python
├── docker-compose.yml           # 四服务：db / redis / app / worker / nginx（后三个按 profile 启动）
├── nginx.conf                   # Nginx 反向代理（可选，--profile nginx 启动）
├── .env.docker                  # Docker 环境变量模板（生产配置，不提交 .env）
├── requirements.txt
├── api/
│   ├── auth.py                  # JWT + owner_filter + workspace 权限
│   ├── limiter.py               # slowapi 限流（支持反向代理 IP 识别）
│   ├── schemas.py               # Pydantic 请求/响应模型
│   ├── scheduler.py             # APScheduler 定时任务管理（测试计划 Cron）
│   ├── websocket.py             # WebSocket 连接处理
│   ├── websocket_manager.py     # 多频道广播管理器（心跳 + 工作空间隔离）
│   └── routes/
│       ├── __init__.py          # 路由聚合
│       ├── auth.py              # 鉴权、用户管理、健康检查
│       ├── workspaces.py        # 工作空间 CRUD + 成员管理
│       ├── webui.py             # WebUI 自动化（场景规划/录制/执行/报告/步骤健壮化）
│       ├── ai_cases.py          # AI 文档驱动用例（生成/增量更新/需求追踪/Excel导出）
│       ├── api_test.py          # 接口自动化（执行/压测/CSV数据驱动/WS隔离）
│       ├── global_vars.py       # 全局变量池
│       ├── test_plans.py        # 测试计划 + Cron 定时 + CI/CD webhook
│       ├── mock.py              # Mock 服务规则管理
│       └── pentest.py           # 渗透测试模块
├── agent/
│   ├── core.py                  # UITestAgent：任务编排，AgentState 按 task_id 隔离
│   └── langgraph_agent.py       # LangGraph Agent 初始化与编排
├── skills/
│   ├── action_runner.py         # ActionRunner：ActionStep 确定性执行引擎（AI selector 自修复）
│   ├── recorder.py              # 有头浏览器录制器（JS 事件注入 + 轮询 + 步骤补全）
│   ├── step_hardener.py         # 录制步骤健壮化（selector 评级/多候选/断言插入）
│   ├── test_executor.py         # TestExecutor：批量执行调度，task_id 状态隔离
│   ├── parallel_runner.py       # 多浏览器并行执行调度
│   ├── ai_case_generator.py     # 文档驱动用例生成（RAG + 并发控制 + JSON 修复 + 覆盖度优化）
│   ├── api_case_generator.py    # 接口用例 AI 生成（Swagger/代码/描述）
│   ├── api_executor.py          # 接口用例执行引擎
│   ├── api_load_tester.py       # 压力测试引擎
│   ├── csv_driver.py            # CSV 数据驱动解析
│   ├── import_parser.py         # Postman / HAR 导入解析
│   ├── param_resolver.py        # 参数化解析（全局变量池 / 内置函数 / 自定义脚本）
│   ├── pentest_engine.py        # 渗透测试扫描引擎（12 模块，AI 修复建议）
│   ├── rag.py                   # RAG 向量检索（pgvector / 关键词降级）
│   ├── prompt_loader.py         # YAML Prompt 加载器（懒加载 + LRU 缓存）
│   └── prompts/                 # LLM Prompt 配置（YAML，修改无需重启）
│       ├── ai_case_gen.yaml
│       ├── ui_case_gen.yaml     # 含 plan_scenes（场景规划5维度）
│       ├── api_case_gen.yaml
│       └── code_analyze.yaml
├── tools/
│   ├── action_schema.py         # ActionStep 数据结构定义（22 种 action 类型）
│   ├── browser.py               # BrowserPool（Semaphore=6，domcontentloaded策略）
│   ├── config.py                # 环境变量（pydantic-settings）
│   ├── database.py              # ORM 模型 + 自动迁移（含 source/scene_plan 新字段）
│   ├── document_parser.py       # 文档解析（PDF/Word/Excel/PPT/HTML）
│   ├── llm_client.py            # 统一 LLM 调用层（兼容 Anthropic / OpenAI 格式）
│   ├── pdf_exporter.py          # HTML → PDF（Playwright headless A4）
│   ├── alerter.py               # 钉钉/企微/飞书告警推送
│   └── logger.py                # 日志（按日滚动 + zip + 定时清理 + 告警 sink）
├── worker/
│   └── arq_worker.py            # ARQ Worker 配置（多 Worker 任务队列）
├── ui/src/                      # Vue 3 前端（Element Plus + ECharts + Pinia）
│   ├── views/
│   │   ├── AiCases.vue          # AI 用例生成（生成/优化/增量/追踪矩阵/Excel导出）
│   │   ├── Execution.vue        # WebUI 执行（AI场景规划/录制/健壮化/执行/多浏览器）
│   │   ├── Cases.vue            # WebUI 用例管理（来源标签/可视化步骤编辑器/备选Selector/场景覆盖/分页）
│   │   ├── Tasks.vue            # 任务管理
│   │   ├── Reports.vue          # 执行报告
│   │   ├── ApiTest.vue          # 接口测试（含CSV数据驱动/Postman导入）
│   │   ├── TestPlan.vue         # 测试计划（含 Cron 定时）
│   │   ├── Mock.vue             # Mock 服务
│   │   ├── Pentest.vue          # 渗透测试
│   │   ├── Home.vue             # 首页看板
│   │   ├── LLM.vue              # 大模型配置
│   │   └── Skills.vue           # 技能管理
│   └── api/index.js             # Axios 封装 + 401 拦截器
├── tests/                       # 单元测试
└── docs/
    └── webui-step-editor-guide.md  # WebUI 步骤编辑操作手册（action/selector/expected 详解）

截图

许可证

MIT License — 详见 LICENSE