博鱼移动任务自动化利用AI精准捕捉并解析人类意图，进而在移动设备（手机、平板电脑、车机终端）上高效执行多样化任务，为那些因认知局限、身体条件限制或身处特殊情境下的用户提供前所未有的便捷与支持。
最近，来自西安交通大学智能网络与网络安全教育部重点实验室 (MOE KLINNS Lab）的蔡忠闽教授、宋云鹏副教授团队（团队主要研究方向为智能人机交互、混合增强智能、电力系统智能化等），基于团队最新AI研究成果，创新性提出了基于视觉的移动设备任务自动化方案VisionTasker。
这项研究不仅为普通用户提供了更智能的移动设备使用体验，也展现出了对特殊需求群体的关怀与赋能。
团队提出了VisionTasker，一个结合基于视觉的UI理解和LLM任务规划的两阶段框架，用于逐步实现移动任务自动化。
该方案有效消除了表示UI对视图层次结构的依赖，提高了对不同应用界面的适应性。
VisionTasker从用户以自然语言提出任务需求开始工作， Agent开始理解并执行指令。
首先Agent识别并分析用户界面上的元素及布局，如按钮、文本框、文字标签等。
接下来，Agent利用大语言模型导航，根据用户的指令和界面描述信息做任务规划。
每一步完成后，Agent都会根据最新界面和历史动作更新其对话和任务规划，确保每一步的决策都是基于当前上下文的。
用户不仅能从交互中解放双手，还可以通过可见提示监控任务进度，并随时中断任务，保持对整个流程的控制。
对于没有文本标签的按钮，利用 CLIP 模型基于视觉设计来推断其可能功能。
随后博鱼中国体育官网登录，系统根据 UI 布局的视觉信息进行区块划分，将界面分割成多个具有不同功能的区块，并对每个区块生成自然语言描述。
最终博鱼中国体育官网登录博鱼中国体育官网登录，所有这些信息被转化为自然语言描述，为大语言模型提供清晰、语义丰富的界面信息，使其能够有效地进行任务规划和自动化操作。
表明VisionTasker的以视觉为基础的UI理解方法在理解和解释UI方面具有明显优势，尤其是在面对多样化和复杂的用户界面时尤为明显。
文章还进行了单步预测实验，根据当前的任务状态和用户界面，预测接下来应该执行的动作或操作。
结果显示，VisionTasker在所有数据集上的平均准确率达到了67%，比基线%以上。
实验过程中，研究人员设计了147个真实的多步骤任务来测试VisionTasker的表现，这些任务涵盖了国内常用的42个应用程序。
与此同时，团队还设置了人类对比测试，由12名人类评估者手动执行这些任务，然后VisionTasker的结果进行比较。
结果显示，VisionTasker在大多数任务中能达到与人类相当的完成率，并且在某些不熟悉的任务中表现优于人类。
△实际任务自动化实验的结果 “Ours-qwen”是指使用开源Qwen实现VisionTasker框架，”Ours”表示使用文心一言作为LLM
团队还评估了VisionTasker在不同条件下的表现博鱼中国体育官网登录，包括使用不同的大语言模型（LLM）和编程演示（PBD）机制。
VisionTasker 在大多数直观任务中达到了与人类相当的完成率，在熟悉任务中略低于人类但在不熟悉任务中优于人类。
作为一个基于视觉和大模型的移动任务自动化框架，VisionTasker克服了现阶段移动任务自动化对视图层级结构的依赖。
通过一系列对比实验，证明其在用户界面表现上超越了传统的编程演示和视图层级结构方法。
它在4个不同的数据集上都展示了高效的UI表示能力，表现出更广泛的应用性；并在Android手机上的147个真实世界任务中博鱼中国体育官网登录，特别是在复杂任务的处理上，表现了出超越人类的任务完成能力。
此外，通过集成编程演示（PBD）机制，VisionTasker在任务自动化方面有显著的性能提升。
UIST是人机交互领域专注于人机界面软件和技术创新的CCF A类顶级学术会议。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
简历投递
商务合作
媒体垂询微信二维码微博二维码
