思路很好,但我感觉还是传统自动化那种形式,得自己先定位元素或者是录制一套出来,光写用例就很烦了。个人感觉替换换成视觉模型得话应该会更好,case 直接用自然语言写,兜底用 OCR 或者传统得元素定位
可以考虑使用 accessibilityservice android 系统服务和 OCR,通过定位文本后拿到信息再点击。这样有 3 级定位 a11y->cor->ai,不侵入现有脚本也能省 token 并保准准确率。
建议结合元素定位,这玩意吃模型、模型不好非常慢、而且非 token。系统部署玩不转的
楼主应该从熊猫跳槽到字节去了,我同意你的说法