基于大语言模型的移动应用可访问性增强方法

TP311; 移动应用可访问性(Mobile Application Accessibility)是指移动应用程序设计和实现的程度,目的是确保任何用户都能够轻松地访问和使用该应用.国内移动应用市场上的海量应用中支持无障碍功能的应用少之又少,与数量庞大且与日俱增的老年群体和视觉障碍群体追求享受数字时代红利、打破数字鸿沟的愿景产生矛盾.大规模语言模型(Large Language Model,LLM)在实现人类水平的智能方面表现出了巨大的潜力,通过提示词工程引导可以进行简单的逻辑推理和决策判断.此外,缩短交互路径是一种最为直观的移动应用可访问性增强方法.受到上述事实的启发,提出一种基于大规模语言模...

Full description

Saved in:

Bibliographic Details
Published in:	计算机科学 Vol. 51; no. 12; pp. 223 - 233
Main Authors:	马琦珉, 李向民, 周雅倩
Format:	Journal Article
Language:	Chinese
Published:	上海市数据科学重点实验室(复旦大学)上海 200438 15.12.2024 复旦大学计算机科学技术学院上海 200438%复旦大学计算机科学技术学院上海 200438
Subjects:	安卓移动应用 Accessibility Large language model 自然语言处理 Natural language processing 大语言模型 Mobile application 可访问性 Android
ISSN:	1002-137X
Online Access:	Get full text
Tags:	Add Tag No Tags, Be the first to tag this record!

Description
Summary:	TP311; 移动应用可访问性(Mobile Application Accessibility)是指移动应用程序设计和实现的程度,目的是确保任何用户都能够轻松地访问和使用该应用.国内移动应用市场上的海量应用中支持无障碍功能的应用少之又少,与数量庞大且与日俱增的老年群体和视觉障碍群体追求享受数字时代红利、打破数字鸿沟的愿景产生矛盾.大规模语言模型(Large Language Model,LLM)在实现人类水平的智能方面表现出了巨大的潜力,通过提示词工程引导可以进行简单的逻辑推理和决策判断.此外,缩短交互路径是一种最为直观的移动应用可访问性增强方法.受到上述事实的启发,提出一种基于大规模语言模型的移动应用可访问性增强方法,创新性地应用可访问性服务和大语言模型,兼顾安全性、自动化和智能化.实现了一种移动应用可访问性辅助工具AccessLink,在非侵入式和用户授权的前提下,感知和操作移动应用的图形化用户界面,由此实现了基于自动化方法的数据集构建方法,并在构建的数据集上使用大模型GPT-3.5、GPT-4.0、通义千问和百川进行实验,证明了所提方法的有效性.
ISSN:	1002-137X
DOI:	10.11896/jsjkx.240400077