这个事情，之前我也想过，

1. 使用能够理解现实世界的模型：

GPT4o 听说对现实世界的理解以及定位精度很高

2.自己搞模型：

• 使用过 yolo 屏幕目标检测，我看到过有人用这个给王者荣耀的 hero 标注。实现游戏对战 https://kezhi.tech/86b4b2c0.html
• 但我更推荐《基于 Transformer 的目标检测之 DETR》https://zhuanlan.zhihu.com/p/387102036 这个技术更新。目前 yolo、还是 detr 我还没时间去尝试，标注的性能还没测试过

或者就使用方案一：依赖于 xml 层次结构

请看测试的模型，建议使用 32b，测试下来很准

1. 减少视觉模型调用的次数
2. 加快二次响应

白话讲，第一次遇到的问题（问大模型），第二次就不用再问了

再重新拉去一下代码已经增加 WEB 页面版本了

OK，后面考虑用 gradio 加一个体验测试页面

如果你的本地知识库已经有，应该可以通过 api 进行调用。
这里我推荐另外一个 python 库（rankify），建议自己实现 RAG，方便对技术的理解。你可以看下这个微信推文

欢迎各位提出新的见解:

• API 是 deepseek 的 vl 模型，硅基流动平台的很便宜
• 非点击区域至灰，很简单 Opencv 实现即可

我 review 了一下代码

• IO 操作还是有些频繁，我减少一下
• 另外图片保存我放到线程池中操作
• 另外 xml 解析我查查是否有另外一些高性能包
• bouds 边界信息数据保存，我再琢磨一下

我后面琢磨一下，怎么优化。

纯视觉的可以研究看一下这个例子
https://github.com/X-PLUG/MobileAgent/blob/main/README_zh.md

在自动化脚本执行失败，大模型介入进行 “诊断”。

解决弹窗，还有一种使用 OCR 的方式，但实现逻辑比较复杂。

大佬，受教了，后面研究一下

嗯，这种尝试过的，给大模型手机分辨率后，让模型返回按钮坐标。
这种对模型的能力要求有些高。之前尝试过，返回的坐标容易不正确。
但可以看一下 mobile_agent 这部分代码，是阿里视觉模型的，没有依赖页面结构

https://www.aivi.fyi/llms/deploy-omniparser2.0

周刊地址，欢迎各位 rss

好的补充上了

常规自顶

嗯，会越来越好的

自己顶一下

全部重新更新了一下，再不行就没辙了

我怎么看的都是正常的
任就可能不清就看这个吧：
https://power-filament-0e1.notion.site/11c8ae0baa5f803c9121edc4e4d15b81?pvs=4