在传统的软件测试中,我们有一套明确的断言(Assert)。但在大模型(LLM)和智能体(Agent)落地时,传统测试彻底失效了。
比如,你把客服 Agent 的 Prompt 从 v1 升级到了 v2:
如果只看 “平均分” 或者 “通过率” 来决定是否上线,这就叫盲测。为了把大模型的玄学变成科学,我开发了一套基于统计学的大模型 Agent 自动化评测与发布决策平台(A/B 测试)。
系统底层依赖 LangChain 负责 Agent 的运行与工具调用,Langfuse 负责全链路追踪,DeepSeek 作为裁判(LLM-as-a-Judge),最终用 Scipy 进行统计学计算,数据落盘 MySQL。
(💡 此处插入你的系统架构图,或者直接把 docker-compose.yml 的代码截个图放上来)
传统的测试看的是 Mean(均值)。但均值极其容易被极端值带偏,且无法判断涨跌是否具有统计学意义。
在我的系统里,我引入了 Bootstrap 重采样(1000 次) 和 成对 T 检验。
Scipy 计算 95% 置信区间和 P-value。# 核心统计计算逻辑
from scipy import stats
import numpy as np
def calc_stats(arr):
arr = np.array(arr)
n = len(arr)
mean_val = np.mean(arr)
std_dev = np.std(arr, ddof=1) if n > 1 else 0.0
# Bootstrap 1000次重采样计算置信区间
bootstrap_means = [np.mean(np.random.choice(arr, size=n, replace=True)) for _ in range(1000)]
ci_lower = np.percentile(bootstrap_means, 2.5)
ci_upper = np.percentile(bootstrap_means, 97.5)
# T检验计算 P-value
if n > 1 and std_dev > 0:
_, p_val = stats.ttest_1samp(arr, 0)
p_value = float(p_val)
else:
p_value = 1.0
return mean_val, ci_lower, ci_upper, p_value
Agent 和普通对话模型不同,它不仅输出文本,还会调用工具(Function Calling)。如果为了查一个天气,模型调用了 3 次搜索工具,这属于严重的逻辑冗余。
大模型黑盒里到底发生了什么?我接入了 Langfuse。
从用户输入(Input)到 Agent 最终输出(Output),中间的 TTFT(首字延迟)、TPOT(每字耗时)以及每一次 tool_call 都会被完整记录。一旦发版后出问题,可以直接下钻到 Trace 链路进行归因排错。
为了让业务方和老板能看懂,系统最终会把大模型复杂的表现翻译成商业账本。
系统会动态读取配置(如金融场景重安全,客服场景重语气),计算所有维度的 加权总 Delta。
如果新版虽然变好了一点,但消耗了双倍的 Token 导致 “效能” 大跌,系统会自动亮红灯并提示:“❌ 整体负收益,暂缓发布。”
这套系统已经全流程跑通,基于 Python + LangChain + Docker 构建,支持一键私有化部署,所有数据完全留在本地,非常适合对数据隐私要求高的企业。
目前核心代码已在 GitHub 开源(求个 Star ⭐):
如果你也在做 AI Agent 落地,或者对 LLM-as-a-Judge、统计学评测感兴趣,欢迎在评论区留言交流,或者私信我探讨!