针对一批网站数据,通过机器学习根据网站的特征对网站进行分类,例如是否是邮箱网站,对处理完成的数据测试如何去判断程序的准确率,目前只能抽样人工判断,各位大佬有其他很有灵气的方法吗
人工自己建立一个正确集,这个正确集需要不断的增加更新,然后将模型对网站的分类和正确集做对比
这样是不是和对已有样本集先进行人工判断再与模型跑出来的结果做比对是一样的
机器学习结果的准确率,应该都是先有一个人工确认过的正确集,然后和模型跑出来结果做比对吧。没有一个 100% 正确的集合,也无法知道模型跑出来对不对、准确率如何。
这个正确集本身是训练数据的一环,这类数据有一些公共的数据集对应不同领域的(包含原始数据、人工确认过的 100% 正确集),可以去找下,拿一些合适的来直接使用。不过领域如果比较特殊,估计也不一定有这类公开的数据可用,毕竟这些收集这些数据成本是不低的。
建立一个验证集的做法比较合适
嗯呐,可以这么理解,最好有自己的评测团队,一个人可能会累死
看到一篇不错的机器学习测试策略的文章,分享给大家 https://testerhome.com/topics/11785