评价标准
目前考虑对包含目标检测与识别类的图片测试集进行评价,初步考虑的评价指标主要涉及以下几种:
image.png

针对每一个评分类别,可以展开详细的图例说明,如下图所示
image.png

image.png

image.png

image.png

自动化实现方式
前端通过输入项目 id、测试 id,支持的场景与目标类型后点击确定进行分析,后端进行测试集分析后返回给前端通过 echarts 插件进行渲染
image.png

后续优化点
1) 在展开的每个示例图的右侧,通过表格将具体数值数据进行展示,形成图表对照,数值与占比同时展示。

2) 支持用户可选测试集分析选项,节省分析时间,且将测试集评价展示内容进行可选折叠。

3) 将已有测试集分析信息存入数据库,基于这些信息通过关联度够建形成测试集图谱,用于测试集检索、复用与重建。

4)其它维度的测试集评价,如图像质量。

5)算法自测集与测试的测试集独立同分布分析,首先要确定独立同分布的规则,利用已有的测试集分析功能进行比对验证。

6) 预警信息显示,如素材未标注占比,缺少应该覆盖的目标类别、场景等,为测试集优化提供具体方向。


↙↙↙阅读原文可查看相关链接,并与作者交流