点击图像
这是一个用于在移动设备上通过图像匹配并点击指定位置的指令。当需要获取被测图片在基准图片中的位置信息并进行点击操作时,使用点击图像指令。该指令支持在Android、iOS和Harmony设备上执行,常用于滑块验证码、广告位监控、页面像素级检查等场景。
指令标识:MobileTapOnImage
指令类型:移动端指令
指令描述:在移动设备上通过图像匹配并点击指定位置
可视化编排:从 0 到跑通
Section titled “可视化编排:从 0 到跑通”在移动设备上匹配并点击指定图像。
| 参数名 | 类型 | 必填 | 默认值 | 说明 |
|---|---|---|---|---|
| imageFilePath | String | 是 | - | 要点击图片的S3地址,断言基准图片 S3 URL,用于图像比对 |
什么时候用?
Section titled “什么时候用?”1. 游戏自动化场景 在游戏中通过图像识别点击特定的游戏元素或按钮。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。
2. 无法通过常规选择器定位的元素 当元素无法通过XPath等常规方式定位时,使用图像识别点击。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。
3. 自定义控件点击 点击自定义图标控件或特殊UI元素。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。
4. 图形按钮识别点击 识别并点击图形化的按钮或图标元素。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。
5. 跨平台兼容性场景 在不同平台上使用图像识别实现统一的点击操作。适用于按钮点击、菜单选择、交互事件触发等自动化测试场景。
可使用执行指令(XML)节点动态调用该指令。
通过 执行指令 ,编写XML代码调用
<MobileTapOnImage imageFilePath="https://example.com/assets/aiagent-bucket/00%E6%96%87%E6%A1%A3%E7%AB%99%E7%82%B9%E5%9B%BE%E7%89%87/%E7%A7%BB%E5%8A%A8%E6%8C%87%E4%BB%A4/%E7%BE%8E%E5%9B%A2-%E5%A4%96%E5%8D%96.png"/>Q1:图片路径有什么要求?
Section titled “Q1:图片路径有什么要求?”A: assertFileUrl 与 targetFileUrl 均需为已上传至 S3 的完整 HTTP(s) 链接,否则返回错误。图片必须是有效的S3地址,且能够被系统访问。
Q2:图像匹配的阈值是多少?
Section titled “Q2:图像匹配的阈值是多少?”A: threshold 缺省时框架默认 0.5,若比对置信度大于阈值即认为匹配,返回坐标 JSONArray [x,y]。比对失败(置信度 < 阈值)将返回 IMAGE_MATCH_ERROR。
Q3:不同平台的坐标处理有什么区别?
Section titled “Q3:不同平台的坐标处理有什么区别?”A: iOS 侧会根据设备分辨率对坐标进行转换;Android/Harmony 直接返回原始像素坐标。建议根据实际平台进行坐标适配。
Q4:如何提高图像匹配的准确率?
Section titled “Q4:如何提高图像匹配的准确率?”A: 图片需尽量分辨率一致以提高匹配精度;过大图片会增加请求耗时。建议使用清晰、无水印的截图,确保图像识别准确率。图像识别应作为备选方案,优先使用XPath等常规定位方式。