AI测试 我是如何用 Bootstrap 置信区间与 T 检验,解决大模型 Agent 发版 “盲测” 难题的

dengdagui · 2026年11月16日 · 52 次阅读

💡 背景:大模型发版,不能只靠 “感觉”

在传统的软件测试中,我们有一套明确的断言(Assert)。但在大模型(LLM)和智能体(Agent)落地时,传统测试彻底失效了。

比如,你把客服 Agent 的 Prompt 从 v1 升级到了 v2:

  • 新版看着更友好了,但变得极其啰嗦,Token 消耗翻倍(降本增效变成降本增笑)。
  • 模型具有极强的随机性(Temperature),你今天测 10 道题分数涨了,明天测可能又跌了。

如果只看 “平均分” 或者 “通过率” 来决定是否上线,这就叫盲测。为了把大模型的玄学变成科学,我开发了一套基于统计学的大模型 Agent 自动化评测与发布决策平台(A/B 测试)。


🏗️ 系统整体架构

系统底层依赖 LangChain 负责 Agent 的运行与工具调用,Langfuse 负责全链路追踪,DeepSeek 作为裁判(LLM-as-a-Judge),最终用 Scipy 进行统计学计算,数据落盘 MySQL。

(💡 此处插入你的系统架构图,或者直接把 docker-compose.yml 的代码截个图放上来)


🛠️ 核心技术实现解析

1. 为什么大模型测试必须用 T 检验与 P-value?

传统的测试看的是 Mean(均值)。但均值极其容易被极端值带偏,且无法判断涨跌是否具有统计学意义。

在我的系统里,我引入了 Bootstrap 重采样(1000 次) 和 成对 T 检验。

  • 我把 v1 和 v2 模型跑出的分数差值组成一个数组。
  • 使用 Scipy 计算 95% 置信区间和 P-value。
  • 判定标准:如果 P-value < 0.05 且置信区间全在零右侧,说明新版是真的好;如果置信区间跨零(包含 0),说明波动太大,差异无统计学意义,不能盲目上线。
# 核心统计计算逻辑
from scipy import stats
import numpy as np

def calc_stats(arr):
    arr = np.array(arr)
    n = len(arr)
    mean_val = np.mean(arr)
    std_dev = np.std(arr, ddof=1) if n > 1 else 0.0

    # Bootstrap 1000次重采样计算置信区间
    bootstrap_means = [np.mean(np.random.choice(arr, size=n, replace=True)) for _ in range(1000)]
    ci_lower = np.percentile(bootstrap_means, 2.5)
    ci_upper = np.percentile(bootstrap_means, 97.5)

    # T检验计算 P-value
    if n > 1 and std_dev > 0:
        _, p_val = stats.ttest_1samp(arr, 0)
        p_value = float(p_val)
    else:
        p_value = 1.0

    return mean_val, ci_lower, ci_upper, p_value

2. 如何破解 Agent 特有的 “过度思考” 与 “乱调工具”?

Agent 和普通对话模型不同,它不仅输出文本,还会调用工具(Function Calling)。如果为了查一个天气,模型调用了 3 次搜索工具,这属于严重的逻辑冗余。

  • 轨迹冗余度:我通过拦截底层 Agent 的日志,精准数出每道题调用了多少次工具。新版如果发生 “过度思考”,这个指标会立刻报警。
  • 意图覆盖率:不再只看文本漂亮不漂亮,而是让裁判模型结合标准答案(Ground Truth),判断用户的核心诉求(比如退票、查天气)是否被真正闭环解决。

image.png

image.png

3. 全链路可观测性(Langfuse 实战)

大模型黑盒里到底发生了什么?我接入了 Langfuse。

从用户输入(Input)到 Agent 最终输出(Output),中间的 TTFT(首字延迟)、TPOT(每字耗时)以及每一次 tool_call 都会被完整记录。一旦发版后出问题,可以直接下钻到 Trace 链路进行归因排错。

image.png


📊 最终成果:从 “跑分工具” 到 “商业决策”

为了让业务方和老板能看懂,系统最终会把大模型复杂的表现翻译成商业账本。

系统会动态读取配置(如金融场景重安全,客服场景重语气),计算所有维度的 加权总 Delta。

如果新版虽然变好了一点,但消耗了双倍的 Token 导致 “效能” 大跌,系统会自动亮红灯并提示:“❌ 整体负收益,暂缓发布。”

image.png


🚀 开源与交流

这套系统已经全流程跑通,基于 Python + LangChain + Docker 构建,支持一键私有化部署,所有数据完全留在本地,非常适合对数据隐私要求高的企业。

目前核心代码已在 GitHub 开源(求个 Star ⭐):

如果你也在做 AI Agent 落地,或者对 LLM-as-a-Judge、统计学评测感兴趣,欢迎在评论区留言交流,或者私信我探讨!

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。