只是训练成本降下来了。。部署的成本可一点不低啊

1.用的 OmniParser 的
2.可以直接调代码

没多的显卡资源可以靠时间怼，最核心的问题还是没有大量人工标记好的数据源。如果能找到开源的标记数据源，训练一个专项模型（例如专门识别图标的）其实没有想象中那么难

如果只是想简单吹牛逼而不考虑后续，建议直接注册个 DeepSeek，然后用 web 自动化开个无头模式挂后台网页跑。直接调 API 都要钱

如果打算本地部署，不要用 deepseek，考虑用微软这个https://github.com/microsoft/OmniParser 加上找一个自然语言开源模型。DeepSeek 的小模型很蠢，大一点的对配置要求非常非常高。

不现实，你可以看我发过的一篇调研。1.在线模型，token 很贵，拿来跑自动化耗不起。2.本地模型，对显卡要求太高，小公司负担不起。

总结，没钱别玩

2/13 更新：已上传服务镜像至 dokcer hub，可直接下载镜像来启动服务

搞技术的，证没啥用。

有的，我文中也有提到。yolo 的目标识别存在两个问题 1.无法完全捕获所有图标（存在遗漏）2.无法准确所有图标类型。我的解决的方案是用 openCV 的轮廓查找，枚举出所有的窗口，然后再结合 yolo 进行查重和筛选，基本能抓取页面上所有可点击的控件了。但类型识别这个，暂时没有好方法。要么调用图像生成描述的 AI（慢），要么就是能找到一个含有大量数据的 icon 库

加了

是的，能做到寓意化是终极目标，但这需要比较优质的训练模型的数据集。有时间会考虑做一个预训练模型开源出来，方便大家用自己产品做训练

你这个。。。教程得是多复古的了代码 2019 年的，appium 界面不知道是哪个上古版本，早就不长这样了

自己部署用于商业化的大模型成本不低，训练，运行都要高性能显卡，你先确定公司能不能负担的起

思路挺好，但很多问题你没有解释清楚，或者我没理解到位。我想深入了解一下。所以你是依靠局部图像来定位？并且操作（click 等）然后整体图像来断言页面是否正确这样吗？如果是的话，我可能要给你泼一盆冷水了。。首先图像识别的准确率没有你想象的那么高，特别是文字多的 UI 元素少的页面。在考虑不同手机长宽比分辨率，你会因为调相似度阈值调到想死。。像你发的外卖平台这种，文字价格，标题稍微变一下图像基本废了。还是你打算搞一堆截图放着，那样灵活度也太低了。如果有理解不对的地方还望指正

好奇问啊，这个不就是用图像匹配来做自动化么。Airtest？纯靠图像的话，实际执行起来不稳，特别是文本类的图像对比

感谢支持！

搞半天我以为你们自己训练的模型，结果是调通用大模型接口，那有啥用啊

这类需要调用第三方 AI 的库都有个很大问题，就是 Token 不够。我们公司买了微软 gpt4o 的 token，我试过拿来跑，并发量上去就很容被 ban。目前比较理想情况是，只在校验结果的时候调用，执行步骤交给本地实现。

好东西！比那些个搞 AI 噱头的玩意强太多

用其他一样有 token 限制呀。。跑多了就给你禁用一段时间，除非是自己搭的离线模型

说到底在看别人脸色的情况下，别人模型的规则稍微一变，或者 token 长度限制了就跑不了了。俺们公司买了 gpt4o 做过实验，图像的转成 base64 后，token 长度直接指数级飙升，跑的数量稍微上来一点 API 直接强制停用，速度提不上去。而且基本没优化空间，议价权都在别人手里。私以为搞离线模型才是正道

你说的没错，但也不能套个壳就跑出来说自己实现了吧。。99% 依赖人家的，还得考虑人家给不给你用的问题。所以我也说了用开源离线模型，或者自己训练一个也行吧。但你这一套壳都算不上的东西就拿出来吹的天花乱坠也太跌份了。

一个要调用别人付费模型的库。。不觉得有吹的那么酷炫。。我还以为是自己训练的模型

看了你们说是用 GPT-4o，但 GPT-4o 不是没开源么

前辈的代码我也看过，非常感谢前辈珠玉在前的引导，我这篇的目的更多是想分享自己整个设计思路和过程。要说底层技术，也绕不开安卓 uiautomaor2 不是吗