跳转到内容

点击图像

这是一个用于在移动设备上通过图像匹配并点击指定位置的指令。当需要获取被测图片在基准图片中的位置信息并进行点击操作时,使用点击图像指令。该指令支持在Android、iOS和Harmony设备上执行,常用于滑块验证码、广告位监控、页面像素级检查等场景。

指令标识:MobileTapOnImage
指令类型:移动端指令
指令描述:在移动设备上通过图像匹配并点击指定位置

在移动设备上匹配并点击指定图像。

参数名类型必填默认值说明
imageFilePathString-要点击图片的S3地址,断言基准图片 S3 URL,用于图像比对

1. 游戏自动化场景 在游戏中通过图像识别点击特定的游戏元素或按钮。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。

2. 无法通过常规选择器定位的元素 当元素无法通过XPath等常规方式定位时,使用图像识别点击。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。

3. 自定义控件点击 点击自定义图标控件或特殊UI元素。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。

4. 图形按钮识别点击 识别并点击图形化的按钮或图标元素。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。

5. 跨平台兼容性场景 在不同平台上使用图像识别实现统一的点击操作。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。

可使用执行指令(XML)节点动态调用该指令。

通过 执行指令 ,编写XML代码调用

<MobileTapOnImage
imageFilePath="https://example.com/assets/aiagent-bucket/00%E6%96%87%E6%A1%A3%E7%AB%99%E7%82%B9%E5%9B%BE%E7%89%87/%E7%A7%BB%E5%8A%A8%E6%8C%87%E4%BB%A4/%E7%BE%8E%E5%9B%A2-%E5%A4%96%E5%8D%96.png"
/>

A: assertFileUrltargetFileUrl 均需为已上传至 S3 的完整 HTTP(s) 链接,否则返回错误。图片必须是有效的S3地址,且能够被系统访问。

A: threshold 缺省时框架默认 0.5,若比对置信度大于阈值即认为匹配,返回坐标 JSONArray [x,y]。比对失败(置信度 < 阈值)将返回 IMAGE_MATCH_ERROR

Q3:不同平台的坐标处理有什么区别?

Section titled “Q3:不同平台的坐标处理有什么区别?”

A: iOS 侧会根据设备分辨率对坐标进行转换;Android/Harmony 直接返回原始像素坐标。建议根据实际平台进行坐标适配。

Q4:如何提高图像匹配的准确率?

Section titled “Q4:如何提高图像匹配的准确率?”

A: 图片需尽量分辨率一致以提高匹配精度;过大图片会增加请求耗时。建议使用清晰、无水印的截图,确保图像识别准确率。图像识别应作为备选方案,优先使用XPath等常规定位方式。