先手工测着，等产品稳定了，再考虑自动化

我就是不知道如何进行自动化测试，因为数据都是没有规律性的，也不知道具体的正确答案应该是什么，怎么去做校验

这种怎么感觉是标注团队干的事情啊！

1. 正确的定义是什么？需要自己造独立于训练集的完整验证集？定期跟新最新的数据？

2. 准确度的衡量指标是什么？点击率？收益率？能不能转化成用户行为，在操作中埋点判断?

3. 测试还能参与一些，2.貌似不需要测试参与什么吧。产品自己跟指标不就好了。

看来手工测试还没做到足够好，先搞定手工吧

1.其实给抓取的内容打上对应的标签，就是根据抓取内容中的关键字，有关键字的就打上此关键字对应的标签，那是不是可以自己创造一些假数据验证标签能否打上？
2.根据推荐策略给用户推资讯，如果符合用户逻辑的话，按照你说的点击率、收益率应该是会提高，但是提高到多少就不知道怎么衡量

你这个业务其实和普通用户业务还有点区别，特征是：没有办法给出明确的预期结果。

1.检查抓取到的资讯，通过算法，打上的标签是否正确

这种地方用到的算法，有可能是通过机器学习训练得到的算法模型。这类模型是否准确，专业点说叫 “会不会存在过拟合” ，即会不会对训练的数据吻合度很高，但对新数据吻合度很低。这类算法要测试是否准确，个人理解的标准姿势应该是不断扩充更新训练集、测试集、验证集三个数据集合，保障训练出来的模型在后两个集合下一直保持好的表现。

当然简单点，也可以抽样检查下算法模型得出的标签，和你理解的（或者更好是找提这个标签需求的产品来看）是否一致，如果不一致比较多，可以反馈，要求进行优化。

如果像你说的，只是检测关键字是否匹配，匹配就打标签，那就做个单测甚至直接 review 代码，看关键字和标签的映射关系对不对就可以了。

2.根据推荐策略，测试给用户推荐资讯的准确度

这个和前者类似，准确度这玩意没有标准的衡量方式。一般最简单也最容易让人信服的，就是点击率、转化率这些相比没有推荐有没有提升（可以做 AB 测试，这样最明显）。而这块其实测试没什么能做的，最多就是自己做个小的接口测试，每次策略有更新时验证下对于接口测试里提供的咨询数据，推荐策略得出的结论是否基本一致。准确率要提升，背后更多是产品和算法工程师根据用户转化率情况，持续沟通优化。

1. 你需要理解算法的逻辑，产品的逻辑，不按逻辑造出来的数据只能给别人添堵。同时最好是线上的真实数据更有说服力，怎么筛选数据是你需要考虑的。从行文看，你大概不懂什么叫训练集和验证集，如果做算法相关测试，请补算法。
2. 客户行为可以通过 APP 或者页面的点击事件来跟踪，交易可以根据后台逻辑来跟踪。从行文看，你不知道如何去做。这是需要前端、后端、产品配合做的事情，测试能做的很少。

如果你是小兵，去求助你的 LEADER 吧。
如果你是 LEADER，那你自己需要 PUSH 下自己了。

非常感谢，受益良多

如果你之前真的没怎么接触过这块，而且有意愿后续要深入这块，推荐你买本相关的书看看，帮助你快速建立一些初步的体系知识。比如艾辉老师出的《机器学习测试入门与实践》、《大数据测试技术与实践》

如果只是偶尔一两个需求涉及，那就先人工抽样检查吧。

想要深入了解一下，谢谢大佬的推荐