• API 是 deepseek 的 vl 模型，硅基流动平台的很便宜
• 非点击区域至灰，很简单 Opencv 实现即可

我 review 了一下代码

• IO 操作还是有些频繁，我减少一下
• 另外图片保存我放到线程池中操作
• 另外 xml 解析我查查是否有另外一些高性能包
• bouds 边界信息数据保存，我再琢磨一下

我后面琢磨一下，怎么优化。

纯视觉的可以研究看一下这个例子
https://github.com/X-PLUG/MobileAgent/blob/main/README_zh.md

在自动化脚本执行失败，大模型介入进行 “诊断”。

解决弹窗，还有一种使用 OCR 的方式，但实现逻辑比较复杂。

大佬，受教了，后面研究一下

嗯，这种尝试过的，给大模型手机分辨率后，让模型返回按钮坐标。
这种对模型的能力要求有些高。之前尝试过，返回的坐标容易不正确。
但可以看一下 mobile_agent 这部分代码，是阿里视觉模型的，没有依赖页面结构

https://www.aivi.fyi/llms/deploy-omniparser2.0

周刊地址，欢迎各位 rss