吕国用 | 2018 

有赞的深度需求功能测试

       序：在《有赞.测试团队介绍 (一)》曾经提到过，我们在测试需求项目时，会把需求逐级拆解，直到最小粒度。然后，各业务线的测试小伙伴把任务领走进行细化，同时，确定一位主测分来主导复杂项目的测试工作。 
       在面试过程中，很多小伙伴也会说，我们会根据需求所描述的功能，进行测试。那作为一位应聘者，如何才能把自己之前工作的能力展示给你的面试官呢。 
       随着有赞 SOA 服务化的深入推进，系统拓扑结构越来越复杂。我们也在不断提升测试小伙伴的测试能力及问题思考的能力。 
       我们的日常测试，一般需要考虑需求功能测试、性能测试、异常测试、安全测试。

一、熟悉技术方案

       有赞现在没有纯粹的测试工程师，不论是通过阅读技术方案文档、或是跟开发 Face to Face 沟通技术方案。从中，测试同学需要了解一下信息：

• 当前需求，涉及哪些应用的改动，或者我的业务需要改动哪些应用；
• 了解每个应用在全站系统拓扑结构的节点位置；
• 我的应用，调用其他应用接口，是强依赖还是弱依赖；
• 我的应用，所提供的服务，是强依赖还是弱依赖；
• 有些功能实现，是否有设计模式，还是硬编码；
• 新老系统的兼容性、App 新老版本兼容、不同手机版本的兼容性；
• 技术方案中的 Db 变更方案、数据迁移方案、及 T+1 核对方案；
• 是否使用缓存，及缓存数据如何保持一致的；

• 异常情况下的健壮性，技术方案中是如何实现的；
  

  二、测试方案设计

         在充分理解需求及技术方案后，从横向角度，我一般把功能测试三个部分。
  

  2.1 人机交互

         最基本的人与设备间交互。例如小程序设置、在微信上打开有赞商品下单。
  

  2.1.1 前端测试部分

         人机交互测试，有很大工作在页面测试。页面测试用例要写得尽可能详尽，否则，测试时，可能会有遗漏，特别是需要开发自测的用例场景。我们结合有赞前端框架及业务，编写《功能测试.页面测试.基本篇》。
  
         在实际工作，还需要有实际策略。现在微信小程序将注册开放给了开发者，在有赞也可以直接注册小程序。其中可以设置类目,这是类目怎么测。
         按照微信的要求，不同类目要求提交的证书各不相同。有些类目，可以选择证书类型 (如图)，有些类目是固定证书，证书也有单个和多个的要求。设计测试方案时，我们深入的开发确定，类目信息是前端硬编码，还是存在有赞后端，或者是从微信端直接读取。

• 若是硬编码，需要逐个测试小程序 200+ 类目的证书是否正确。

• 若是存在有赞后台，前端通过设计模式实现，我们只需要验证设计模式无误，在 check 后端配置数据正确即可。

• 若是实时读取微信，前端通过设计模式实现，我们只需要验证设计模式无误。

• 对于读取有赞后台，风险是微信修改了类目证件要求，两方数据如何保持一致。

• 对于实时读取微信，若微信访问失败，系统提示文案如何确定；也要问下自己，微信的所有类目，我都要支持吗，我的资质是否允许。
  

  2.1.2 后台测试部分

         以大家比较熟悉的交易下单扣库存为例。我们买了某件商品，系统后台就需要扣减商品库存或者锁定库存。
         正常交易，我们买几件商品，从对应的库存中，扣掉几件就可以了。早期，因为是两个系统，两个事务，测试需要考虑如何保证事务的一致性。我们需要考虑：

• 正常正向交易场景，是否能够正常扣减正确。

• 正常正向交易场景，商品扣减失败，交易创建失败，商品需要回补。

• 当商品扣减成功后，因为交易异常，回补前，商家编辑了库存，如何回补。

• 交易调用库存中心扣减超时了，这时前端会提醒用户系统异常，请重试；对于超时，库存中心并无感知，它有可能已经把库存给扣减成功了。那么，方案中交易是如何告知库存中心，这时一般采用异步消息。

• 下单过程中，出现请重试，交易系统是新建一个交易单还是复用交易单。

• 如果复用交易单，对于库存回补，异步回补库存消息到达可能会在本次扣减成功后到达，系统如何确保不会错误回补。

• 交易作为消息的推送者，如果消息推送失败，是否会重试；即要求消息不能丢失，又要确保回补不会因为消息生产者重试，导致多次回补。

       所以，有赞测试小伙伴，需要对需求、系统实现方案非常了解，掌握系统拓扑结构，掌握自己 Owner 的业务及其周边业务。

2.2 任务

       不管是在传统行业还是互联网行业，总是会存在任务或者是脚本。有轮询从存储介质获取数据处理，也有接受消息中心处理的任务。 
       举个业务场景，在有赞系统购买会员卡。商家会创建一个会员卡商品，用户购买该商品，然后系统把会员卡发放到买家的账户里。交易下单与发放会员卡，通过消息中心将业务连接在一起，会员中心系统监听交易支付成功消息，然后放卡。
       我们考虑哪些内容：

• 正常正向业务，我买了某张会员卡商品，我是不是得到这张会员卡。
• 会员中心接收到消息中心推送的消息后，是先存储，再处理，直接消费掉消息，或者是直接处理，处理成功再消费消息。
• 对于先存储，再处理，相当于需要在启动一个任务，消费落地在本地的数据。
• 对于直接处理，处理失败，需要抛会一个异常或者 false；让消息中心重新推送。
• 存在重新推送，那么，执行任务是否符合幂等。
• 该 Topic 消息失败重试，是否会有降级策略；例如 ABC 三个消息，A 处理失败，A 就不能立即重发，等待 5 秒，把时间片留给 BC；每失败一次时间片 +5 秒。
• 消息重试 N 次，会被抛弃，一旦抛弃，是否可能出现资损；就该场景，我买了会员卡，是必须发到用户手里。所以需要有 T+1 核对。
• T+1 核对，有业务方或者数据中心，交易日第二天，将会员卡商品的交易明细与会员卡中心发卡明细做核对，对差异数据进行补全或做其他方面的处理。
• 会员中心作为事件处理方，如果需要多系统协作，需要做到幂等及事务一致性，或者实现断点续传能力；

       我们采用尽可能完备的测试质量规范，尽可能的提高系统的稳定性与可靠性。

2.3 系统回调

       系统回调，也是系统弱依赖的一种表现形式。A 系统需要 B 系统，但是 B 系统又不能立刻给出成功与否的答复，就会采用回调来实现。例如第三方支付、保险公司出单、购买理财产品交易。        这种场景，依赖方发送 Request，执行方会回复说请求已收到。待执行方处理完成后，回复给说执行成功或者失败。就好比我在微信上跟某 A 说，你帮我办件事，他说好的；某 A 处理完成后，微信上跟我说，我处理完了，处理结果是这样的。

• 我们需要跟执行方确定双方系统幂等验证的条件。
• 如果涉及跨防火墙通讯，需要考虑验证信息传输的正确性及合法性。
• 对于回调后，如果存在复杂的业务处理，是不是先存储回调结果，再处理。
• 对于某些特殊业务，还需要有 T+1 核对，保证双方系统的一致性。
• 需要关注对方系统的性能，是否能够支撑相关业务的能力。

• 同时，考虑其他特殊场景。举个例子，交易下单支付后，请求第三方支付，可能支付成功了，但是一直没有回调，这时交易超时关闭订单，这时回调了，这时系统如何处理。
  

  2.4 系统对象生命周期

         我们在做测试方案设计，处理前面的三点，还会从对象生命周期考虑设计方案。

• 我们需要知道，每个系统对象存在多少个状态，比如交易订单 (如上图)。

• 每个状态间是否可以正向扭转，逆向扭转，扭转条件是什么。

• 例如，待支付状态，如果买单下单，不支付走了；这个单子不能一直是待支付，所以系统需要能够发现长期未支付，直接关闭；同时需要支持，买家关闭等。

• 关闭订单时，系统能直接把单子关闭吗？它有没有可能已支付，只是支付回调还没有回来。

• 如果因为系统设计，支付未回调之前，被关闭了；回调回来后，系统该怎么做，确保不会出现买家钱付了，单子被关闭了。

• 对象不同状态的相关方有哪些，每个相关方都有哪些权限或者系统提示文档如何等。

       本次分享仅写了我们日常工作中在需求功能测试方面的一部分，不同的需求所需要考虑的点各不相同，本文只是很少一部分，留意待续。同时，您在阅读过程中，如认为有待交流沟通。欢迎联系本人邮箱 lvguoyong@youzan.com。

关于有赞及加入有赞

关于有赞 https://www.youzan.com/intro/about 加入我们 https://job.youzan.com/
同时，您也可以直接把简历投递到 job@youzan.com   lvguoyong@youzan.com
欢迎关注我们的公众号