1.对发现缺陷能力的发现

2005 年秋，还在大学校园里的我，为了找到第一份软件测试工程师的工作，开始四处投递简历，参加笔试与面试。这是我第一次接触用人单位评估和筛选理想测试工程师的方式。归纳来看，主要考察内容包括以下几个方面：
•计算机基础知识：如程序设计、数据结构与算法、计算机组成原理与体系结构；
•软件工程与测试技术：包括软件过程模型的优劣、黑盒与白盒测试的差异、各类测试方法等；
•编程能力：根据问题描述编写算法代码，并分析与优化其时间、空间复杂度；
•测试设计能力：例如为字符串比较函数设计测试用例，或为笔记本充电器、纸杯等物品制定测试方案；
•项目经验：涵盖项目背景、职责分工、成果交付、优化改进方案及问题解决过程等；
•软技能与个性特质：如团队协作、冲突管理、批判性思维和学习能力等。

这些维度帮助用人单位全面评估候选人的技术实力、实践经验与个人素质，判断其是否胜任测试岗位。这段求职经历也让我深刻体会到，优秀的软件测试不仅需要扎实的技术功底，还需具备细心、耐心以及持续学习的心态。

多年后，我成为公司测试团队的骨干，开始参与团队招聘。所考察内容与我当年的求职经历大致相同。随后晋升为团队管理者，肩负起打造高效团队的职责。这不仅要求我明确用人标准，也需要投入大量时间与精力，在众多候选人中精准识别合适人才。而其中，我最看重的，是那些具备卓越缺陷发现能力，并能积极推动质量改进的测试专家。

然而，一个突出而棘手的挑战摆在我面前：如何准确定义 “卓越” 的缺陷发现能力？

在实际评估中，除了考察候选人的计算机基础、软件工程知识、项目经验及行业理解外，我逐渐意识到，从心理学角度出发，评估一些深层的认知与个性特质，也许能更准确地识别那些在测试工作中脱颖而出的潜力型人才。这些关键特质包括：
•细心与耐心：测试工作常常伴随大量重复性操作，需要测试人员一丝不苟、耐心细致，确保不遗漏任何潜在缺陷；
•批判性思维：对软件功能保持质疑，善于从不同视角挖掘问题根源，识别隐藏的逻辑漏洞；
•好奇心：愿意主动探索系统边界，尝试非常规路径，模拟多样化用户行为，以发现那些 “不容易被发现” 的问题；
•系统思维：具备对整体架构的认知，能够从系统层面发现结构性缺陷，并兼顾环境因素如操作系统、网络、硬件等；
•责任心：将 “发现缺陷” 视为职责所在，不满足于完成任务，而是以提升质量为目标持续投入；
•适应性：面对需求频繁变更，能迅速调整测试策略，并灵活应对各种突发情况；
•持续学习能力：在快速演进的技术环境中，保持对新工具、新方法的学习与应用能力；
•创造性思维：设计出具有创新性的测试用例，发掘深层次、隐蔽性的缺陷，并提出独到的解决思路。

尽管上述特质为我们描绘了一个理想测试者的能力画像，但在现实招聘过程中，尤其是在短时间的面试中，如何科学、量化地评估这些能力，始终是一个难题。仅靠主观判断，很难准确把握应聘者在细致程度、批判性思维或创造力方面的真实水平，既缺乏客观性，也难以全面。

2.从心理学中找寻启示

意识到这一问题后，我开始思考：是否可以开发一套方法，帮助我和团队更精准、高效地识别、评估并培养具备卓越缺陷发现能力的测试专家？围绕这一目标，我初步设想该方法应具备以下核心功能：
1.标准化评估体系：构建一套覆盖关键心理特质的测试场景与任务。例如，通过分析含缺陷的代码片段、设计特定功能的测试用例等方式，量化候选人的细心程度、批判性思维与创造性；
2.行为面试与数据分析结合：借助结构化面试收集候选人过往行为实例，同时通过数据分析工具辅助判断其责任心、适应性等较难通过问答直观评估的维度；
3.持续跟踪与能力培养：该工具不仅应用于招聘环节，也可作为入职后的能力发展平台，持续追踪个体在测试任务中的表现，辅助制定个性化成长路径，推动团队整体质量能力的提升。

归根结底，要真正选拔并培养出具备卓越缺陷发现能力的人才，仅靠主观判断和传统面试远远不够。明确的人才标准、科学的评估方法，加上一套系统化、数据驱动的支持工具，才是实现这一目标的关键路径。这也正是我在测试管理实践中逐步摸索出的方向，并希望在未来持续深入探索与完善的课题。

在意识到市面上缺乏符合需求的评估工具后，我尝试在互联网上寻找解决方案，但结果令人失望。大多数工具要么偏重技术测评，缺乏对心理特质的关注；要么评估维度单一，难以满足我对测试人才综合能力识别的需求。最终，一个想法逐渐清晰：为何不自己设计一套工具，专门服务于这个目标？

我开始思考：是否可以通过观察并记录受试者的真实测试行为，进一步分析并呈现其潜在的心理特质呢？这让我联想到了心理学领域中广泛应用的智力测评工具——韦克斯勒成人智力测验（Wechsler Adult Intelligence Scale，简称 WAIS），并对其实施过程进行了深入研究。

WAIS 是当前应用最为广泛的认知能力测验之一，旨在评估成年人智力水平的个体差异，并提供关于认知能力的多维度信息。它包含多个子测验，覆盖言语理解、知觉推理、工作记忆和处理速度等认知领域，每项子测验都有特定设计，分别反映被试者在不同维度的表现。

3.构建一套评测系统

受到 WAIS 启发，我设想构建一个融合技能评估与心理特质观察的交互式测评系统，核心设计要点包括：
1）核心方法
在限定时间内（如 45 分钟），受试者需测试一个预先注入多种缺陷的模拟软件系统。系统会自动记录测试行为、缺陷发现情况，并输出多项量化指标，辅助能力评估。
2）测评工具特性
工具融合两个系统：一个含有多个真实缺陷的 “被测试系统”，一个模拟执行测试任务的 “交互环境”。评估范围包括受试者的技术能力（如测试方法、上下文理解）及多项心理特质（批判性思维、创造力、适应性、系统思维、好奇心等）。
3）被测试软件选择
采用 “图书馆管理系统” 作为统一测试对象，以规避领域知识差异对评估结果的干扰。在初版中注入 16 个覆盖不同模块和缺陷类型的问题，包括 UI 问题、逻辑漏洞、数据验证、性能瓶颈与稳定性缺陷等，以全面衡量探索深度与策略选择。
4）模拟交互环境设计
提供多项 “行为检查点” 以辅助特质识别：
o 提示词功能：评估学习与沟通能力；
o 状态重置选项：观察记忆力、推理能力与测试设计的调整行为；
o 代码覆盖率：作为好奇心、探索性与系统思维的量化指标；
o 测试笔记记录：衡量受试者的测试流程思维、表达能力与探索反思；
o 时间变更干预：在实验第 25 分钟时通知剩余时间由 1 小时缩短为 45 分钟，以评估其适应性与计划调整能力。
5）测评流程安排
实验开始前由面试官简要介绍任务与操作说明，并提供背景文档以帮助受试者理解系统上下文。测试过程中，面试官可就操作性问题提供指导，但不会对测试本身给予任何提示，以保持评估的真实性和独立性。

基于以上设计，我迅速开发出一个可在 Windows 系统上独立运行的原型版本。系统主界面左侧为系统消息、缺陷报告与测试笔记区，右侧为被测系统界面，受试者将在其中进行所有操作。此外，我还配套编写了一份详细的使用手册，用于指导受试者完成整个测验流程。

当受试者点击 “Test Complete” 结束测验后，系统会自动生成一份原始数据文件，完整记录其测试过程中的所有操作行为。测试官随后对该数据进行解读与评估，包括：
•判断并关联受试者所报告的缺陷是否准确、有效；
•审阅测试笔记内容，结合逻辑性、思考深度和表达方式给予主观评分；
•综合分析其测试路径、探索策略及响应行为。

在此基础上，测试官将出具一份综合评估报告，报告中包含总评分及各维度得分，作为判断受试者技术能力与心理特质的参考依据。

经过多轮自测，确认工具运行稳定（毕竟受试者遇到 bug 是最尴尬的场面），我开始在自己的团队中进行小范围试用，邀请几位测试工程师参与体验，并收集反馈。反馈非常有价值。有人指出系统中的剩余时间提醒不够醒目，不得不额外使用计时器；也有人意外发现了一个未被列入的缺陷，表明被测试系统的设计还有开放空间；还有人在未发现 “状态重置” 功能的情况下卡在了测试流程中。这些意见促使我对工具功能进行了调整优化，并重写了操作手册。随后，我决定正式在我主持的招聘面试中投入使用。

4. 试运行和对未来的设想

然而，真正的挑战才刚刚开始。首批前来面试的几位候选人测试经验较少，测验完成后得分普遍偏低，大多在 15 分以内。这让我颇感失望——原本希望在更多团队中推广这套工具，却在 “开局” 就遭遇了冷场。

反思之后，我意识到问题并非出在工具本身，而可能源于测试系统的选择。《图书管理系统》作为被测对象，结构略显复杂，而所注入的缺陷也偏难，导致测试门槛过高，影响了评分的分布。于是，我开始思考是否可以设计不同复杂度的测试系统（简单 / 中等 / 高难），每个系统注入不同层级的缺陷，提升评估体系的适应性与可扩展性。

虽然最初的理想暂时搁浅，但我坚信这次工具探索的尝试仍具有重要意义。它不仅是一次技术创新，更是测试方法与认知测评交汇的有益实践。接下来，我设想可以从以下几个方向继续完善和拓展这项工作：
•用于探索式测试能力训练：将该工具作为 “挑战型实验” 平台，引入 “探索式测试教练模式”，允许灵活配置缺陷类型和注入方式，并尝试建立心理特质与行为模式之间的映射机制，从而更有针对性地提升测试人员的探索能力；
•用于心理暗示对比实验：例如，分别告知两组测试者注入缺陷的数量（A 组：20 个，B 组：5 个），再对比其测试行为与得分，研究不同心理预期对测试策略和表现的影响，为后续的 “行为导航机制” 提供理论依据；
•用于行为数据深度分析：挖掘测验中的行为指标，如 “时间压力变化前后” 的策略调整、“操作速率与缺陷发现数量” 的相关性等，为测试人员画像与成长路径规划提供数据支撑。

尽管这个测评工具的首次实践并不如预期般顺利，项目也一度被搁置，但这段经历让我更加坚信：衡量 “缺陷发现能力” 这类复杂认知技能，绝不能仅依赖传统的面试问答或简化的笔试模型。

测试人员不仅是问题的发现者，更是系统隐患的探察兵、质量策略的推动者。这项工作背后所依赖的，不只是技术栈和流程认知，而是一系列深层次的心理特质和认知模式——细致、敏锐、求知、灵活、批判、……这些都极难在短时间内被准确把握。而我尝试构建的这个实验系统，正是一种新的尝试：以行为数据为基础、以情境模拟为载体，量化那些传统方法难以评估的素质能力。

回顾整个过程，从设想到实现，从反复自测到真实试用，再到挫折与反思，我逐渐意识到：这个工具不仅仅服务于招聘和甄选，更是一个学习和成长的引导器。它可以帮助测试人员自我认知与成长，也可以协助教练和管理者更有针对性地开展培养计划，甚至可以启发测试行业对人才画像和能力发展的重新思考。未来，我希望这项工作可以继续发展：也许会可以和生成式 AI 融合，接入更广泛的测评维度，甚至有一天，成为整个测试行业标准评估体系的一部分。但就算不能走到那么远，我也始终相信，这样的探索本身，就是推动测试不断进步、不断自我革新的起点。

张昊翔

2025/4/16
Wechat: hzhan11
QQ: 22321262
Email: xjtu_xiangxiang@hotmail.com
Blog: https://www.infoq.cn/profile/2215BDBD532CB4/
LinkedIn: https://www.linkedin.com/in/hzhan11/