第一章：智能体测试概述

1.1 什么是智能体（AI Agent）

1.1.1 智能体的定义

智能体（AI Agent）是一种能够感知环境、自主决策并采取行动以实现特定目标的 AI 系统。与传统的 AI 模型不同，智能体不仅能够理解和生成文本，还能够：

• 调用工具：如搜索引擎、计算器、数据库等
• 执行任务：如预订、查询、分析等
• 多步推理：分解复杂问题，逐步求解
• 自主规划：制定行动计划并执行

1.1.2 智能体的核心组成

一个典型的智能体系统包含以下组件：

┌─────────────────────────────────────────┐
│           智能体系统架构                 │
├─────────────────────────────────────────┤
│  ┌─────────┐   ┌──────────┐            │
│  │  用户   │──▶│  对话管理 │            │
│  └─────────┘   └──────────┘            │
│                     │                    │
│       ┌────────────┴────────────┐      │
│       ▼                         ▼       │
│  ┌─────────┐              ┌─────────┐  │
│  │ 大语言  │◀────────────▶│  知识库  │  │
│  │  模型   │              │         │  │
│  └─────────┘              └─────────┘  │
│       │                         │       │
│       ▼                         ▼       │
│  ┌─────────┐              ┌─────────┐  │
│  │ 工具调用 │              │ 向量检索 │  │
│  └─────────┘              └─────────┘  │
└─────────────────────────────────────────┘

主要组件说明：

1. 大语言模型（LLM）：核心推理引擎，负责理解用户意图、生成回复
2. 知识库：存储领域知识、文档、FAQ 等结构化或非结构化数据
3. 向量检索：使用 embedding 技术快速检索相关知识
4. 对话管理：管理多轮对话的上下文和状态
5. 工具调用：集成外部 API 和工具，扩展智能体能力

上面是一个智能体产品最简化的结构图（其内部是非分复杂的），其核心在于智能体模型（其实就是 Agent）能否正确理解用户的意图并调用适合的工具来完成用户的需求。 所以这里面就衍生出了很多的测试类型。单说效果评测就几个大类：

• 意图识别：验证智能体能准确的理解用户的意图，调用合适的工具（比如用户想总结一个文档的内容，那应该调用文档解析工具，而不是网页解析工具。这需要 Agent 正确理解众多工具的作用以及用户的问题。）
• 工具测试：一个智能体产品可能有数百甚至上千个工具，有的负责知识检索，有的负责网络检索，有的负责视频合成，有的负责图片理解。
• 上下文工程：在多轮会话中，往往需要把每一次对话的内容（包括用户的问题和智能体的回复以及中间产物，比如文档，视频，总结等）作为上下文输入给大模型，让大模型更好的理解用户的问题以便于输出更加优质的内容。但这庞大的上下文也会干扰大模型的判断（比如用户曾经问过：北京今天的天气怎么样？然后又问了一句北京今天车辆限号多少？ 然后最后问，那上海呢？ 这时用户期望问的是上海的车辆限号， 但模型可能会被更早的问题干扰，认为用户仍然在询问天气问题）。 所以在庞大上下文的背景下，智能体的上下文工程治理就尤为重要。 这涉及到上下文的写/选/压/隔，长期记忆，Agent 转交，模型改写等等。
• 知识库的检索/解析/拆分。其实在智能体中，把知识库放到工具里也是没毛病的，毕竟在智能体中万物皆工具。 但这里把知识库单独拎出来说是因为它的重要性，在用户场景中，绝大多数的用户诉求都是希望模型检索并提炼出精准的答案。并且知识库的构建又是一项十分复杂的工作。所以这里单独分成一个类型。

1.1.3 智能体的应用场景

智能体技术已经在多个领域得到广泛应用：

应用场景	具体应用	技术特点
客户服务	智能客服、售后支持	多轮对话、知识库检索
企业办公	会议纪要、文档问答	文档理解、信息抽取
教育培训	智能辅导、答疑解惑	个性化推荐、知识图谱
金融分析	财报解读、风险评估	数据分析、推理能力
代码辅助	代码生成、Bug 修复	代码理解、调试能力
医疗健康	症状分析、健康咨询	专业知识、安全性

1.2 为什么要测试智能体

1.2.1 智能体测试的重要性

与传统软件不同，智能体系统具有以下特点，使得测试变得尤为重要：

1. 非确定性

• 同样的输入可能产生不同的输出（因为现在都是 sampling 采样策略）
• 受模型版本、温度参数、随机种子等影响

2. 复杂性

• 涉及 NLP、检索、推理等多个技术模块
• 组件间的交互复杂

3. 质量难以量化

• 回答的"好坏"难以用简单指标衡量
• 需要多维度的评测体系

4. 潜在风险

• 可能产生错误信息（幻觉）
• 可能泄露敏感信息
• 可能产生不当内容

1.2.2 智能体测试的挑战

挑战	说明	应对策略
测试用例设计	输入空间巨大，难以穷举	基于场景分类，代表性采样
预期结果定义	没有唯一正确答案	使用语义相似度、专家评估
性能评估	延迟、吞吐量受多因素影响	多场景压测，统计分析
回归测试	模型更新可能影响所有功能	建立基准测试集，持续监控
效果评测	主观性强，人工评测成本高	自动化指标 + 人工抽检

1.3 智能体测试的分类

1.3.1 功能测试（Functional Testing）

目标：验证智能体是否按照预期功能正常工作

测试内容：

• ✔️ 基本对话能力：能否理解用户输入，生成合理回复
• ✔️ 知识库检索：能否准确检索相关知识
• ✔️ 上下文管理：能否维护多轮对话的上下文
• ✔️ 工具调用：能否正确调用外部工具
• ✔️ 异常处理：遇到错误输入或异常情况的处理

上下文测试示例：

# 测试用例：基本对话
输入："北京今天天气怎么样？"
预期：返回天气信息或提示查询天气

# 测试用例：上下文理解
第1轮："介绍一下Python"
第2轮："它有什么优点？"  # "它"指代Python
预期：回答Python的优点

1.3.2 性能测试（Performance Testing）

目标：评估智能体在不同负载下的性能表现

关键指标：

指标	说明	目标值示例
首 Token 延迟（TTFT）	从请求到返回第一个 token 的时间	< 500ms
总延迟	完整响应的总时间	< 5s
Token 生成速度（吐字率）	每秒生成的 token 数	> 50 tokens/s
吞吐量（QPS）	每秒处理的请求数	> 100 QPS
并发能力	同时支持的并发用户数	> 1000
资源使用	CPU、内存、GPU 利用率	< 80%

测试类型：

1. 负载测试：逐步增加负载，找到系统极限
2. 压力测试：超出设计负载，测试稳定性
3. 持久性测试：长时间运行，检测内存泄漏等问题
4. 峰值测试：模拟突发流量

工具：

• Locust：Python 编写的分布式性能测试工具
• JMeter：Apache 开源的性能测试工具
• wrk：现代化的 HTTP 压测工具

1.3.3 效果评测（Quality Evaluation）

目标：量化评估智能体的输出质量

评测维度：

1. 准确性（Accuracy）

• 事实性：信息是否正确
• 逻辑性：推理是否合理

2. 相关性（Relevance）

• 回答是否切题
• 是否包含所需信息

3. 完整性（Completeness）

• 信息是否全面
• 是否遗漏关键点

4. 流畅性（Fluency）

• 语言是否通顺
• 表达是否清晰

5. 安全性（Safety）

• 是否包含有害内容
• 是否泄露敏感信息

评测指标：

指标类别	指标名称	适用场景
分类指标	准确率、召回率、F1	选择题、分类任务
生成指标	BLEU、ROUGE	文本生成、翻译
语义指标	BERTScore、语义相似度	开放式问答
专用指标	Pass@k（代码）、Math Score（数学）	特定领域

公开评测数据集：

• MMLU：多领域多任务理解
• C-Eval：中文综合能力评测
• GSM8K：小学数学推理
• HumanEval：Python 代码生成

小结

本次先简单概述一些测试内容，后续会针对每个项逐个讲解。 AI 目前的能力已经十分强大， 我现在工作中 90% 的代码都是用 AI 来生成的， 就连本篇文章我也用了 AI 润色（之前还试过用 AI 写小说，但失败了）。所以后续各种 AI 产品我预计会层出不穷。 所以打算系统的总结一下我经历过的智能体测试方法。

最后再宣传一下自己的星球，后续更多文章都会在星球中发布。