本篇文章是关于如何实现Appium集成OCR进行图片识别自动化系列教程的下篇。
在本文中,我们将介绍实现图像识别的通用OCR库airtest,以及该库如何与Appium集成。
AirTest
Airtest是一个基于图像识别的跨平台UI自动测试框架。它适用于游戏和应用程序,支持的平台有Windows、Android和iOS。
可以通过pip进行airtest库的安装:
Copy to Clipboard
airtest.core.api模块提供了一系列用于调用的跨平台api,包括触摸操作触摸、拖动操作滑动、输入文本操作文本等操作。
Copy to Clipboard
Airtest集成Appium
启动Appium并连接到服务器:
Copy to Clipboard
获取当前屏幕尺寸及分辨率:
Copy to Clipboard
重写findelement函数,让其拓展支持基于图像的定位方式,并返回ImageElement:
Copy to Clipboard
Appium提供了隐式、显示等待,用于传统控件的查找,让脚本等到控件出现后停止查找。
所以为了拓展显示等待的能力,需要自己实现基于图片的显示等待:
Copy to Clipboard
查找到的元素,通过ImageElement返回,之后需要定义该类型要实现的常规操作:
Copy to Clipboard
封装好图像定位、操作的类库后,通过其提供的api进行脚本开发:
Copy to Clipboard