Ayo (Ayo) · 回帖 · 测试之家

对 AI 测试的一个想法 at October 30, 2025

上个月基于代码/监控做的 AI 分析可以精确到行，以及提交人等 SCM 信息。后续对话解决方案/创建任务/创建 MR/ 也仅仅是几个 Tool

公司现在需要写一份用 AI 辅助测试的调研报告 at October 28, 2025

Agentic X：LLM Agent 在测试领域的探索与思考 at September 26, 2025

这样子的话内网内的应用无法使用哇这种就属于 Agent 这种更高级别的接口逆向了，如果只逆向 LLM 的 API 本地跑 Agent 内部调用远端的 LLM 也可以哇

Agentic X：LLM Agent 在测试领域的探索与思考 at September 25, 2025

如果你的底层实现是自主规划的 Agent, 那么你只需要给这个 Agent 写获取页面结构的 Tool，页面截图的 Tool 以及图片理解获取坐标的 Tool, 在 prompt 给个设定，优先使用获取结构进行下一步，如果出错可以采用图片理解坐标点击。他会在每一步思考过程中选择 Tool 进行下一步尝试

Agentic X：LLM Agent 在测试领域的探索与思考 at September 23, 2025

好样的多多交流～

自动化平台上的 case 大家是如何编写和思考的？ at September 01, 2025

可以把重复多的公共步骤封装一个子流程作为引用，这样子只需要改子流程就好啦。

自动化平台上的 case 大家是如何编写和思考的？ at August 29, 2025

几年前做的样式，现在普通小白用起来还蛮简单，主要做法就是元素独立维护，用例里面选择元素，动作，入参等。

AI 本地知识库创建探讨 at July 31, 2025

我是从 0-1 开发过，一般常用 RAG 比如 FastGPT/MaxKB/RAGFlow/Dify/Langflow 的我只借鉴过看过一丢丢，可以加 AYO-YO-O 交流交流

AI 本地知识库创建探讨 at July 29, 2025

恰巧做过类似的东西，我从开发的角度给你分析一下，其实传统 RAG 的链路是挺长的，一般会包括数据清洗/切片/向量化/检索/重排/组装 prompt，影响最后效果的不仅仅是清洗/切片，不过清洗/切片的最终效果你也可以在相关的向量数据库里检索到，这也是最方便根据结果调整的。

另外我建议你根据结果来反推过程，比如输入原文一摸一样的内容是否可以检索到？检索不到则考虑是否需要使用 BM25 这种算法进行初筛增加调整混合检索的权重比例。比如查到了片段 1，但关联的上下文没有检索到则考虑是否有 overlap 兄弟节点是否召回 rank 数量是否太小等等。。。

如果不考虑成本可以做 LLM Native，类似 DeepResearch 全部让 LLM 去处理，评分/排序/总结可以参考前段时间 OpenAI 发的相关 RAG AI Native 的文章。

自己脑洞大开做了一个西游玩家以唐僧视角去西天取经的小游戏（暂时是 demo） at July 08, 2025

有意思但是链接挂了哎

Agentic X：LLM Agent 在测试领域的探索与思考 at June 30, 2025

实践可以得到经验

最近突发奇想想做一个自动部署可视化窗口，没思路求指点。 at June 22, 2025

自动部署可视化窗口设计方案

1. 项目背景

现状痛点

每周版本发布前需要手动部署到测试服务器
部署过程包含客户端包和服务器包两个部分
手动操作效率低，容易出错
缺乏部署状态的实时监控
测试团队无法及时了解部署进度

目标

实现一键自动化部署
提供直观的可视化界面
实时监控部署状态和进度
支持部署历史记录和回滚
减少人工干预，提高效率

2. 系统架构设计

2.1 整体架构

┌─────────────────┐    ┌─────────────────┐    ┌─────────────────┐
│   前端界面      │    │   后端API服务   │    │   部署执行器    │
│  (Vue/React)    │◄──►│   (Node.js)     │◄──►│   (Shell/CI)    │
└─────────────────┘    └─────────────────┘    └─────────────────┘
         │                       │                       │
         └───────────────────────┼───────────────────────┘
                                 ▼
                    ┌─────────────────┐
                    │   数据库存储    │
                    │  (MongoDB/MySQL)│
                    └─────────────────┘

2.2 核心模块

用户界面层 - 可视化部署控制台
业务逻辑层 - 部署流程管理
执行引擎层 - 具体部署操作
数据存储层 - 配置和日志存储

3. 功能设计

3.1 主要功能模块

3.1.1 部署控制台

一键部署按钮：选择版本一键触发部署
实时状态显示：部署进度条、当前步骤、执行日志
环境选择：开发/测试/预生产环境切换
版本管理：版本列表、版本对比、回滚功能

3.1.2 配置管理

服务器配置：目标服务器信息管理
部署策略：蓝绿部署、灰度发布等策略配置
通知设置：邮件、微信、钉钉等通知渠道
权限管理：用户角色和操作权限控制

3.1.3 监控告警

部署状态监控：成功/失败/进行中状态跟踪
性能监控：部署耗时、资源使用情况
异常告警：部署失败自动通知相关人员
日志管理：详细部署日志查看和搜索

3.2 界面设计

3.2.1 主控制台界面

┌─────────────────────────────────────────────────────────────────┐
│ 🚀 自动部署控制台                                    用户：张三   │
├─────────────────────────────────────────────────────────────────┤
│ 环境：[测试环境 ▼]  版本：[v1.2.3 ▼]  [🔄 刷新] [⚙️ 设置]      │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│ ┌─────────────────┐  ┌─────────────────┐  ┌─────────────────┐  │
│ │   客户端部署    │  │   服务器部署    │  │   数据库迁移    │  │
│ │   ✅ 已完成     │  │   🔄 进行中     │  │   ⏳ 等待中     │  │
│ │   耗时: 2分30秒  │  │   进度: 65%     │  │                │  │
│ └─────────────────┘  └─────────────────┘  └─────────────────┘  │
│                                                                 │
│ 部署进度：████████████████████████░░░░░░░░ 75%                   │
│                                                                 │
│ 📝 实时日志：                                                   │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ [14:32:01] 开始客户端包部署...                              │ │
│ │ [14:32:15] 上传客户端包到服务器...                          │ │
│ │ [14:34:31] ✅ 客户端部署完成                                │ │
│ │ [14:34:32] 开始服务器包部署...                              │ │
│ │ [14:34:45] 正在停止旧服务...                                │ │
│ └─────────────────────────────────────────────────────────────┘ │
│                                                                 │
│ [🚀 开始部署] [⏸️ 暂停] [⏹️ 停止] [🔙 回滚到上一版本]           │
└─────────────────────────────────────────────────────────────────┘

3.2.2 历史记录界面

┌─────────────────────────────────────────────────────────────────┐
│ 📊 部署历史记录                                                  │
├─────────────────────────────────────────────────────────────────┤
│ 时间范围：[最近7天 ▼]  状态：[全部 ▼]  [🔍 搜索框]               │
├──────┬─────────┬──────────┬────────┬─────────┬──────────────────┤
│ 状态 │  版本   │ 部署时间  │ 耗时   │ 操作人  │ 操作             │
├──────┼─────────┼──────────┼────────┼─────────┼──────────────────┤
│ ✅   │ v1.2.3  │ 14:30    │ 8分钟  │ 张三    │ [查看日志][回滚] │
│ ❌   │ v1.2.2  │ 10:15    │ 失败   │ 李四    │ [查看日志][重试] │
│ ✅   │ v1.2.1  │ 昨天     │ 6分钟  │ 王五    │ [查看日志]       │
└──────┴─────────┴──────────┴────────┴─────────┴──────────────────┘

4. 技术实现方案

4.1 前端技术栈

// 推荐技术栈
- 框架：Vue 3 + TypeScript 或 React + TypeScript
- UI库：Element Plus / Ant Design
- 状态管理：Pinia / Redux Toolkit
- 实时通信：WebSocket / Socket.io
- 图表库：ECharts / Chart.js
- 构建工具：Vite / Webpack

4.2 后端技术栈

// 推荐技术栈
- 运行时：Node.js + Express 或 Python + FastAPI
- 数据库：MongoDB / PostgreSQL
- 消息队列：Redis / RabbitMQ
- 任务调度：Bull Queue / Celery
- 容器化：Docker + Docker Compose
- CI/CD：Jenkins / GitLab CI / GitHub Actions

4.3 部署执行器设计

#!/bin/bash
# deploy.sh - 部署脚本示例

# 配置参数
VERSION=$1
ENVIRONMENT=$2
CLIENT_PACKAGE_URL=$3
SERVER_PACKAGE_URL=$4

# 1. 前置检查
echo "开始部署检查..."
check_environment
check_dependencies

# 2. 下载部署包
echo "下载客户端包..."
download_package $CLIENT_PACKAGE_URL "client"

echo "下载服务器包..."
download_package $SERVER_PACKAGE_URL "server"

# 3. 备份当前版本
echo "备份当前版本..."
backup_current_version

# 4. 部署客户端
echo "部署客户端..."
deploy_client

# 5. 部署服务器
echo "部署服务器..."
deploy_server

# 6. 健康检查
echo "执行健康检查..."
health_check

# 7. 清理临时文件
echo "清理临时文件..."
cleanup

echo "✅ 部署完成！"

4.4 API 接口设计

// 部署相关接口
interface DeployAPI {
  // 触发部署
  POST /api/deploy {
    version: string;
    environment: string;
    packages: {
      client: string;
      server: string;
    };
  }

  // 获取部署状态
  GET /api/deploy/status/:deployId

  // 获取部署日志
  GET /api/deploy/logs/:deployId

  // 停止部署
  POST /api/deploy/stop/:deployId

  // 回滚版本
  POST /api/deploy/rollback {
    fromVersion: string;
    toVersion: string;
  }

  // 获取部署历史
  GET /api/deploy/history?page=1&limit=10&status=all
}

5. 实施步骤

阶段 1：MVP 版本（2 周）

[ ] 基础界面框架搭建
[ ] 简单的部署触发功能
[ ] 基本的状态显示
[ ] 部署日志查看

阶段 2：核心功能（3 周）

[ ] 完整的部署流程实现
[ ] 实时状态更新
[ ] 错误处理和回滚
[ ] 用户权限管理

阶段 3：高级功能（2 周）

[ ] 部署策略配置
[ ] 监控告警系统
[ ] 性能优化
[ ] 移动端适配

阶段 4：优化迭代（持续）

[ ] 用户体验优化
[ ] 性能监控完善
[ ] 自动化测试
[ ] 文档完善

6. 关键技术点

6.1 实时状态更新

// WebSocket 实现实时更新
const socket = io('/deploy');

socket.on('deploy-progress', (data) => {
  updateProgress(data.percentage);
  updateCurrentStep(data.step);
  appendLog(data.log);
});

socket.on('deploy-complete', (data) => {
  showNotification('部署完成', data.result);
  refreshDeployHistory();
});

6.2 部署状态机

// 部署状态管理
const DeployStates = {
  PENDING: 'pending',
  DOWNLOADING: 'downloading', 
  DEPLOYING_CLIENT: 'deploying_client',
  DEPLOYING_SERVER: 'deploying_server',
  HEALTH_CHECK: 'health_check',
  SUCCESS: 'success',
  FAILED: 'failed',
  ROLLBACK: 'rollback'
};

class DeploymentStateMachine {
  transition(currentState, action) {
    // 状态转换逻辑
  }
}

6.3 错误处理和重试机制

// 重试机制
async function deployWithRetry(config, maxRetries = 3) {
  for (let i = 0; i < maxRetries; i++) {
    try {
      return await executeDeploy(config);
    } catch (error) {
      if (i === maxRetries - 1) throw error;
      await delay(Math.pow(2, i) * 1000); // 指数退避
    }
  }
}