AI测试 请问人脸识别设备的验收测试如何实现

hai · 2019年09月06日 · 最后由 hai 回复于 2020年06月12日 · 3128 次阅读

比如我购买了一台人脸识别设备,标称识别成功率是 99%,要如何测试去验证这个 99% 的成功率?
实际找很多人去设备前识别吗?这样效率太低,验证的人数也很有限。
有什么方法来验证呢?

共收到 12 条回复 时间 点赞

地铁 车站 放一台 我不信人不够

除非你找大平台合作,不然 人家谁会来录人脸 不来录 怎么开门 怎么测?

可以构建万人库,在库人员的照片问公司行政那边的人要,非在库人员网上爬数据找,最后采集一下部门人员的照片验证一下就行了

hai #4 · 2019年09月06日 Author
reviewtiger 回复

谢谢提示。现在底图的库在第三方,我无法操作。直接找照片来验证识别率的话就无法测试到摄像头采集人脸照片的功能了,而且找到的图片格式也不一定符合第三方的要求。

hai 回复

你们这是什么人脸识别设备呀?人脸门禁吗?

hai #6 · 2019年09月06日 Author
reviewtiger 回复

类似吧。就是买了一个摄像头,采集人脸照片,发送到第三方的云端,他们和底图的库对比,看采集的图片是否有匹配的人。
第三方宣称识别率 99%,这样改如何验证识别率是否达到 99% 呢?

分两大步骤,第一步是短时间的验收,方法为聚集公司内部录制一个 30 人流左右 3 分钟的视频在电脑上循环播放,进行校验,如果可以自动化筛选低分照片可以更快完成,如果不能,只能人工筛选的话,会苦逼,大概三天会有几千张识别;第二步是长时间的跑测,嫁到闸道口,餐厅入口出口处然后每天检查一次。over

补充一点,这种视频在海康啊大华啊内部都会有很多,找个熟人要几个,再要点视频内人的公司工牌照就 ok

hai #9 · 2019年09月06日 Author
混子 回复

多谢解答。我都试试。也让第三方提供测试报告看看。

hai 回复

安全性用途,比如闸机设备,注意下验证生物识别。设备商也是用合作商的算法 sdk,就那几家。更重要的是不同环境光线下的成像质量,成像有问题,算法修正也白搭。

验收设备还是得关注使用需求场景实测、硬件成像质量、不同光线对成像质量的影响、安全性一定得多测测异常场景,比如验证生物识别的有效性。

建立数据库(网上爬)
调设备接口
遍历接入数据库
返回结果验证

hai #12 · 2020年06月12日 Author
YouziSister 回复

谢谢回复。
拿到的是设备,没有提供我们接口,只能找真人来测试

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册