在 AI 时代，测试专职岗位最后必然会全部转型，比如业务审核师、模型评测师、质量平台开发等等，那么其中的模型、智能体、skill、mcp 等评测师要做些什么事情？从哪些方面去做？整个流程什么样？

模型 / 智能体 / Skill / MCP 评测：评测师工作内容、评测维度、完整流程

先简单区分概念（避免评测范围混淆）

• 模型（LLM / 多模态基础模型）：底层大模型，能力、幻觉、对齐、安全
• 智能体 Agent：带规划、工具调用、记忆、多轮决策的 AI 应用（不是单纯问答）
• Skill（技能）：智能体可调用的单项能力，比如查天气、查订单、数据库查询、函数调用
• MCP（Model Context Protocol，模型上下文协议）：标准化协议，让模型安全调用外部工具 / 资源，评测重点：协议交互、权限、上下文传递、异常容错

一、评测师要做哪些核心事情

1. 需求拆解 & 评测范围定义 区分：是底层模型评测？还是 Agent 应用评测？还是 Skill 单能力？还是 MCP 协议层交互？明确验收标准、业务目标、风险等级。
2. 设计评测数据集、测试用例
   • 正向用例：正常业务场景
   • 边界用例：超长上下文、歧义、多轮复杂任务
   • 对抗 / 红队用例：提示注入、越狱、越权、误导
   • 领域专业用例：业务专属知识
3. 构造评测环境 部署待测对象、MCP 服务、工具、依赖的 API / 数据库；准备评测框架（DeepEval、Promptfoo、Langfuse）、标注平台。
4. 执行评测，采集指标 批量跑用例，采集自动指标 + 人工标注样本；记录链路日志（MCP 请求、工具调用参数、返回结果、token、耗时）。
5. 缺陷定位、根因分析 判断问题出在哪一层：基础模型本身？Agent 规划逻辑？Skill 执行报错？MCP 协议传参错误 / 上下文丢失？
6. 输出评测报告 & 质量门禁 量化指标、缺陷清单、风险结论、是否准入上线；给出优化建议（调 prompt、改 skill、MCP 权限收紧、模型微调等）。
7. 回归评测 + 线上灰度监控 版本迭代后复测；线上埋点，持续监控真实用户 query 的失败、幻觉、越权情况。

二、从哪些维度开展评测（分 4 类对象，可直接写进方案）

✅ 1）基础大模型（LLM / 多模态）评测维度

1. 能力维度：知识、推理、数学、代码、理解、指令遵循、多轮对话、长上下文
2. 事实性 & 幻觉：是否编造不存在信息，事实一致性
3. 对齐与安全：越狱、偏见、有害输出、隐私泄露、拒绝违规请求能力
4. 稳定性：相同输入是否输出不一致、重复输出、乱码
5. 性能指标：首 token 耗时、总耗时、token 消耗、并发稳定性

✅ 2）智能体 Agent 评测维度（重点！比单纯 LLM 复杂很多）

1. 任务规划能力：能否拆解复杂目标、选择正确执行顺序
2. 工具调用正确性：是否选对 Skill、参数是否填对、是否重复调用、无效调用
3. 记忆管理：多轮对话上下文记忆、遗忘、信息混淆
4. 错误处理：Skill 调用失败后 Agent 能否重试、降级、向用户合理报错，不瞎编答案
5. 任务完成率：最终是否达成用户目标（最重要指标，不是单句回答打分）
6. 链路一致性：思考过程、工具返回、最终回答是否自洽
7. 安全风险：Agent 是否通过工具越权访问数据、执行危险操作

✅ 3）Skill（技能）评测维度（Agent 的单个能力单元）

Skill = 单个可调用能力，例如：订单查询、数据库检索、邮件发送

1. 输入输出正确性：入参校验、参数缺失 / 参数异常时返回结果是否符合预期
2. 业务准确性：查询结果、计算结果是否和真实业务一致
3. 异常容错：超时、下游接口报错、网络抖动时 Skill 的返回码 / 返回信息
4. 权限控制：越权查询他人数据、非法参数能否拦截
5. 性能：调用耗时、并发、限流
6. 副作用风险：写类 Skill（下单、改数据）会不会误操作、重复提交

✅ 4）MCP（Model Context Protocol）评测维度

MCP 是模型和外部工具之间的通信协议，评测聚焦交互层

1. 协议规范一致性：请求 / 响应报文、字段、数据类型是否符合 MCP 协议规范
2. 上下文传递：上下文能否正确透传，上下文截断、丢失、错乱
3. 工具调用链路：模型→MCP 服务→Skill，参数传递是否失真、参数丢失、类型转换错误
4. 安全与权限：MCP 的访问控制、鉴权、权限隔离，防止模型通过 MCP 调用未授权工具
5. 异常处理：MCP 服务宕机、超时、工具报错，能否把错误信息安全回传给模型，不泄露内部敏感信息
6. 稳定性：并发调用、长会话下 MCP 会话管理、会话超时回收

整体评测通用维度：功能正确性、事实性、安全、性能、稳定性、鲁棒性、可观测性

三、完整评测全流程（可直接用于 PPT / 评审文档）

阶段 1：评测准备（需求 & 方案阶段）

1. 对齐业务目标：明确 Agent/Skill/MCP 需要解决什么业务问题、上线准入标准、验收指标
2. 确定评测对象边界：区分是模型本身，还是 Agent 应用，还是 MCP 协议层，避免测混
3. 设计评测方案：确定评测维度、指标定义、数据集类型、评测工具（DeepEval/Promptfoo/Langfuse）、人工标注规则
4. 准备测试数据集
   • 正向用例：正常业务 query
   • 边界用例：超长上下文、模糊提问、多步骤复杂任务
   • 对抗红队用例：提示注入、越权尝试、诱导 Agent 执行危险操作
   • 负面异常用例：下游服务异常、参数非法
5. 搭建评测环境：部署待测 Agent、MCP 网关、Skill 服务、依赖 Mock 服务，隔离测试环境，禁止直接测线上真实业务数据

阶段 2：单组件独立评测（单元层，先测组件，再测整体）
【分层评测思想：先组件，再集成】

1. Skill 单测：单独调用每个 Skill，验证入参、出参、异常、权限，保证单个技能本身可用
2. MCP 协议层评测：单独验证 MCP 网关，报文、鉴权、上下文转发、错误透传，不接入大模型
3. 基础模型基线评测：单独测底层模型的能力、幻觉、安全，作为基线，方便后续区分问题来源

目的：提前发现底层组件缺陷，避免集成后分不清是谁的问题

阶段 3：集成评测（Agent + MCP + Skill 联调）

1. 端到端批量自动评测：批量跑测试集，自动采集指标：任务完成率、工具调用错误率、幻觉率、调用耗时
2. 人工标注评审：抽样对结果人工打分，自动指标只能做参考，Agent 任务是否完成必须人工校验
3. 红队安全评测：构造对抗 prompt，尝试提示注入、诱导 Agent 调用未授权 Skill、越权访问
4. 故障注入测试：模拟 Skill 超时、下游报错、MCP 服务中断，看 Agent 降级逻辑是否合理

阶段 4：缺陷分析 & 定位根因
拿到失败样本，排查归类：

• 模型能力不足？
• Agent 规划逻辑错误（选错工具、参数填错）？
• Skill 本身业务错误？
• MCP 上下文丢失、参数传输错误？ 输出缺陷单，附完整链路日志（MCP 请求、工具返回、模型思考过程）

阶段 5：质量判定、报告输出

1. 汇总量化指标：任务完成率、幻觉率、工具调用失败率、安全高危漏洞数量、P95 耗时
2. 风险分级：高危 / 中危 / 低危缺陷，定义质量门禁（存在高危漏洞禁止上线）
3. 输出评测报告：评测范围、数据集、指标、缺陷清单、风险结论、优化建议

阶段 6：版本回归 + 线上持续观测

1. 迭代新版本，执行回归评测，验证缺陷修复，对比指标变化
2. 上线灰度：接入 Langfuse 等可观测平台，采集真实用户会话
3. 线上抽样评测：定期抽取真实用户 query 做人工评估，持续监控幻觉、越权、任务失败，形成闭环

四、补充：评测难点（评测师重点关注）

1. Agent 不能只看模型输出文本，核心看【任务是否真正完成】，模型回答看着通顺，但工具调用错了就是失败
2. 分层定位难：同样一个错误，可能是模型、Agent 规划、Skill、MCP 任意一层问题，需要链路日志定位
3. 评测数据集要持续迭代，用户真实 query 不断补充，静态数据集容易过拟合
4. 安全风险是跨层风险：提示注入可能绕过 Agent，通过 MCP 调用敏感 Skill

最后请各位圈里朋友集思广益，大家畅所欲言！分享或谈谈你们的感受、认知、经验吧！