这个事情，之前我也想过，

1. 使用能够理解现实世界的模型：

GPT4o 听说对现实世界的理解以及定位精度很高

2.自己搞模型：

• 使用过 yolo 屏幕目标检测，我看到过有人用这个给王者荣耀的 hero 标注。实现游戏对战 https://kezhi.tech/86b4b2c0.html
• 但我更推荐《基于 Transformer 的目标检测之 DETR》https://zhuanlan.zhihu.com/p/387102036 这个技术更新。目前 yolo、还是 detr 我还没时间去尝试，标注的性能还没测试过

或者就使用方案一：依赖于 xml 层次结构

请看测试的模型，建议使用 32b，测试下来很准

1. 减少视觉模型调用的次数
2. 加快二次响应

白话讲，第一次遇到的问题（问大模型），第二次就不用再问了

再重新拉去一下代码已经增加 WEB 页面版本了

OK，后面考虑用 gradio 加一个体验测试页面

如果你的本地知识库已经有，应该可以通过 api 进行调用。
这里我推荐另外一个 python 库（rankify），建议自己实现 RAG，方便对技术的理解。你可以看下这个微信推文

欢迎各位提出新的见解:

• API 是 deepseek 的 vl 模型，硅基流动平台的很便宜
• 非点击区域至灰，很简单 Opencv 实现即可