“无”定位的AI辅助WebUI自动化实践.pdf

“无”定位的AI辅助WebUI自动化实践

胡雷庭

01传统WebUI自动化的局限

目02无定位WebUI自动化实现方案

C

O

N

T03LLM辅助WebUI自动化生成方案

E

N

录T

S

04更丰富的校验和拦截能力

05应用效果与展望

01传统WebUI自动化的局限

传统WebUI自动化的局限

•业务逻辑割裂:先定位元素后操作的编写模式，定位代码充斥在业务逻辑中，业务逻辑不连贯，可读性差

•门槛高不稳定:学习门槛高、复杂和相似度高的元素处理难，易受页面变化影响，不稳定，维护成本高，即

便用PageObject模式，也需用户主动了解有哪些PO对象，封装了哪些方法，并主动调用它们

•编写时机滞后:一般用在回归场景，因为涉及DOM细节，所以页面上线前无法编写

如何跳出繁琐的DOM细节，以较低成本，编写出不惧页面变动，稳定性高的自动化测试呢？

02无定位WebUI自动化实现方案

无定位WebUI自动化实现方案

要解决的主要问题

Ø字段名元素定位

Ø字段名关联控件区域定位

Ø区域内控件按序识别

字段名元素定位

u常见页面字段

u常见字段名DOM特征举例

labelplaceholder普通文本

字段名元素定位

按优先级查找字段名元素

优先顺序：Label、FullText、Placeholder、PartialText、Id/Name

字段名关联控件区域定位

关联控件区域中有1～N个控件字段名和关联控件区域的几种典型DOM关系

字段名关联控件区域识别

递归查找字段名元素关联的控件区域

字段名元素可操作？

后继兄弟：

=0：追溯父元素

=1：尺寸检测？向上追溯

1：取父元素

区域内控件按序识别

控件接口定义

Øidentifier:控件标识，定义控件匹配规则

①tag:元素的HTML标签

②class:元素的class属性

③type:元素的type属性

④style:元素的style属性

⑤role:元素的role属性

Øpriority:优先级，自定义控件默认为1，

HTML原生控件默认为0

Øcall_me:和控件交互的统一方法

Øclick_rect:激活控件用于输入或展示弹出层

区域内控件按序识别

控件示例：可用不同identifier、priority多次实例化，灵活应对多种场景

区域内控件按序识别

主要挑战

Ø控件识别顺序

Ø控件去重

控件信息字典：

1.按控件类型归类

2.记录相对顺序

演示：