20250320-AiDD-人工智能行业2024AI+研发数字峰会：基于多模态大模型的用户界面交互和测试.pdfVIP

基于多模态大模型的

用户界面交互和测试

王俊杰中国科学院软件研究所

演讲嘉宾

王俊杰

中国科学院软件研究所研究员，博士生导师

中国科学院软件研究所研究员，博士生导师，中国科学院特聘研究岗位、

青年创新促进会会员，主要从事智能化软件工程、软件质量等方面的研究，

近年来主要关注智能软件测试、大模型驱动的软件测试等。在国际著名学

术期刊/会议发表60余篇高水平学术论文，四次荣获ACM/IEEE杰出论文

奖。主持和参与了多项国家自然科学基金项目、科技部重点研发计划、

CCF-华为胡杨林基金等。担任CCFA类期刊TSE的AssociateEditor，

ICSE、FSE、ISSRE等的PCmember，TOSEM、EMSE、AUSE、软件学

报等期刊的审稿人。

1.用户界面测试现状和挑战

2.测试输入生成技术

3.面向测试路径规划的自动化GUI测试技术

目录4.基于多模态大模型的自动化GUI测试技术

CONTENTS5.针对文本输入的模糊测试技术

6.面向文本输入组件的交互提升技术

7.总结和展望

XVDWtRrPmQrRmNnOsMqPrP7NdN7NtRoOtRmReRpPpMiNmOrQ7NrQqQMYrQsMMYoOqR

用户界面测试现状和挑战

•Monkey

•Fastbot2面临挑战

•Droidbot

◆合适文本输入

•Ape

•WCTester◆连续长串操作

•Stoat◆复合操作

•TimeMachine◆页面功能理解

•ComboDroid

◆逻辑错误的发现

•Humanoid

•Q-testing

相关成果

◆多篇论文发表在软件工程和人机交互领域旗舰会议/期刊ICSE、TSE、CHI等

◆贝壳找房app、抖音app、华为鸿蒙生态、新能源汽车车载系统进行了应用或对接中

ICSE2023ICSE2024ICSE2024Undersubmission

CHI2024最佳论文提名奖ICSE2024TSE2024