Appium集成OCR – 下篇 - 迪原创新网站

本篇文章是关于如何实现Appium集成OCR进行图片识别自动化系列教程的下篇。

在本文中，我们将介绍实现图像识别的通用OCR库airtest，以及该库如何与Appium集成。

AirTest

Airtest是一个基于图像识别的跨平台UI自动测试框架。它适用于游戏和应用程序，支持的平台有Windows、Android和iOS。

可以通过pip进行airtest库的安装：

Copy to Clipboard

airtest.core.api模块提供了一系列用于调用的跨平台api，包括触摸操作触摸、拖动操作滑动、输入文本操作文本等操作。

Copy to Clipboard

Airtest集成Appium

启动Appium并连接到服务器：

Copy to Clipboard

获取当前屏幕尺寸及分辨率：

Copy to Clipboard

重写findelement函数，让其拓展支持基于图像的定位方式，并返回ImageElement:

Copy to Clipboard

try:
	self.ios.implicitly_wait(timeout)
	formatted_locator, message, short_message = self._format_which(which, args)

# find image
	if which.by == By.IMAGE:
		class WaitImageFound:
			def __init__(self, instance):
				self.instance = instance

def __call__(self):
				screen = aircv.utils.string_2_img(self.instance.ios.get_screenshot_as_png())
				current_file_path = os.path.split(os.path.realpath(__file__))[0]
				img_path = os.path.abspath(os.path.join(current_file_path, which.value))
				po = Template(img_path).match_in(screen)
				if po:
					return po[0] / self.instance.scale_height, po[1] / self.instance.scale_width
				else:
					return False

timeout = timeout if timeout else settings.IMPLICITLY_WAIT_TIMEOUT
		x, y = Wait(timeout, wait_interval=settings.WAIT_INTERVAL).until(WaitImageFound(self))
		return IOSImageElement(self, (x, y), message, short_message, which)
	# find control
	else:
		if multi:
			elements = self.ios.find_elements(by=which.by, value=formatted_locator)
			return [IOSUIElement(self, x, message, short_message, which) for x in elements]
		else:
			element = self.ios.find_element(by=which.by, value=formatted_locator)
			return IOSUIElement(self, element, message, short_message, which)
finally:
	self.ios.implicitly_wait(settings.IMPLICITLY_WAIT_TIMEOUT)

Appium提供了隐式、显示等待，用于传统控件的查找，让脚本等到控件出现后停止查找。

所以为了拓展显示等待的能力，需要自己实现基于图片的显示等待：

Copy to Clipboard

class Wait:
    """
    Polling wait
    """

def __init__(self, timeout, wait_interval=None):
        """
        :param timeout: Wait timeout
        :param wait_interval: Polling wait interval
        """
        self.timeout = timeout
        self.wait_interval = wait_interval if wait_interval else settings.WAIT_INTERVAL
        self.start_time = time.time()

def until(self, method, message=''):
        """
        Call the waiting step circularly, and judge whether to continue the waiting based on the result returned by the step
        If the wait has timed out, terminate the wait and throw an exception
        For waiting steps that do not do exception capture processing, please configure exception capture logic in step
        """
        end_time = time.time() + self.timeout
        while True:
            value = method()
            if value:
                return value
            time.sleep(self.wait_interval)
            if time.time() > end_time:
                break
        raise TimeoutException(message)

查找到的元素，通过ImageElement返回，之后需要定义该类型要实现的常规操作：

Copy to Clipboard

封装好图像定位、操作的类库后，通过其提供的api进行脚本开发：

Copy to Clipboard

AirTest

Airtest集成Appium

Share This Story, Choose Your Platform!

关于作者: Dilato

相关文章

入门指南：从零开始使用 Pytest

持续集成与自动化测试：构建无缝集成的流水线

性能测试与负载测试：保证应用程序的可靠性和可伸缩性