Selenium 随机布局的虚拟安全键盘如何做 selenium 自动化,给个思路也行。

Pxc · 2018年12月28日 · 最后由 Pactortester 回复于 2019年05月30日 · 1591 次阅读

在公司的新项目中遇到了一个问题,交易的时候需要跳转别人的网页进行交易,交易密码的输入框只能用鼠标点击安全键盘进行输入,用键盘输入的无法识别,个各位大神看看有没有什么办法或思路。
我准备使用 python3 和 selenium 来实现自动化,有这个方面的思路的可以留言一起讨论。
页面如下

最佳回复

试试 pyAutoGUI 这个库,有截图识别模拟鼠标点击的功能。

共收到 12 条回复 时间 点赞
Pxc 关闭了讨论 09月23日 19:51

airtest, 图像识别

Pxc #11 · 2019年01月16日 Author

@ 张全蛋 前文说了,这是别的公司的网页,无法调接口,找他们要也不现实。

Pxc #10 · 2019年01月16日 Author

@ く.ιㄍㄍ< 刚我去找了一下 pyAutoGUI 库,完全可以解决,多谢

Pxc #9 · 2019年01月16日 Author

@Pangluo 我看了一下你提供的接口,蛮不错的,但是我的要封闭式的,可以参考

给你提供一个 ocr 识别接口,看这贴

识图接口http://ocr.shouji.sogou.com/v2/ocr/json
上传文件建议为.bmp
http://config.pinyin.sogou.com/api/app75/translate/getTranslate.php
参数 srclang=需要翻译的内容

https://domoyun.com/q.php/bbs.topic.21.html

这种用 OCR 识别应该很准确了

图像识别

这种标准形状,截图用 OCR 拿坐标就成

直接切分 ocr 识别

试试 pyAutoGUI 这个库,有截图识别模拟鼠标点击的功能。

前端的话,截屏,识别你需要密码数字的坐标,然后点击相应的坐标。

绕开前端,走接口

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册