三星的VASTA系统使用AI使用户可以直观地对智能手机任务进行编程，而无需编写代码

 
诸如三星的Bixby之类的助手在任务自动化方面非常灵活-他们会执行“打开Facebook并共享三张最新照片”之类的多步命令而不会受到投诉-但它们并不完美。开发人员有责任对这些任务进行编程，这意味着对于用户而言，它或多或少地变成了等待游戏。
也许这就是为什么位于多伦多的三星AI研究中心的研究人员开发了他们称为VASTA的原因，VASTA是一种语言辅助的“演示编程”系统，用于Android智能手机自动化。通过利用AI和机器学习技术(包括计算机视觉)，它们的原型可以标记交互，而不必依赖界面元素。此外，由于类似于Bixby的自然语言理解算法，VASTA可以分析和识别触发编程任务的语音命令。
“当今的智能手机提供了一套完善的工具和应用程序，可让用户执行许多复杂的任务，”描述该系统的学术论文的合著者写道。 “鉴于现有任务的多样性以及用户在手机上花费的时间越来越多，自动执行最繁琐和重复的任务(例如，订购比萨饼或使用学校应用检查学生的成绩)是智能手机制造商的理想目标和用户都一样。”
为此，研究人员说，VASTA使用户能够使用任何(或多个)第三方应用程序为任意任务创建和执行自动化脚本。他们还说，与现有的智能手机宏录制工具不同，该工具可以类似地自动执行一系列操作，而它们的方法则可以抵抗应用程序界面的更改。 (基本上就像机器人流程自动化一样。)
要启动VASTA，用户需要发出语音命令，然后使用Google的Cloud Speech-to-Text服务将其转换为文本。 VASTA对文本进行分析，以确定它是指一项新任务还是一项已有演示的现有任务。如果是新颖作品，VASTA会回答：“我不知道该怎么做。您可以告诉我吗?”，演示阶段开始。此时，用户导航到主屏幕并杀死所有正在运行的进程，然后执行他们要为其创建自动化的任务序列。完成此操作后，VASTA进入学习阶段，在此阶段中，它会利用对象检测和光学字符识别来识别演示中的元素和文本。
VASTA使用Android Debug Bridge来捕获每次交互时的屏幕截图，以及诸如轻击，长按和轻击之类的触摸事件的类型，持续时间和坐标。在应用程序启动事件中，它会记录已启动的应用程序的名称，并记录静态系统级元素的丝锥的确切坐标。
触发的任务以ADB命令的形式直接执行，通常无需修改。对于非静态元素，VASTA使用其他信息(如已识别的文本字符和界面元素)来确定是否必须实时修改命令。
在一项涉及10名参与者的用户研究中，每个参与者分别执行六个任务(包括设置闹钟和关闭贪睡选项，查找意大利餐馆并根据距离对它们进行排序并将消息发送给WhatsApp上的特定联系人)。研究人员报告说，VASTA能够成功执行60个脚本中的53个。此外，它可以正确地找到用户与60次互动中的59次互动的所有元素，并且可以预测60次语音中有53次的确切正确参数。
研究人员留待以后的工作，即使用图像分类网络为每个UI元素分配一个语义标签(例如，“登录”按钮或“发送”图标)，他们说这可能会增强系统在检测元素期间的准确性。执行。他们还希望创建一个模块，以支持将数据从一个应用程序传输到另一个应用程序(例如，查找下一条总线的到达时间并将其发送给联系人)，以及一种将对象检测和XML数据结合起来以帮助VASTA的机制。区分具有相似命令结构但参数值不同的任务(例如，在音乐会应用中使用“获取Metallica门票”和在电影应用中使用“获取复仇者门票”)。
该论文的合著者写道：“据我们所知，VASTA是第一个将计算机视觉技术用于智能手机任务自动化的系统。” “该系统可能适用于跨不同操作系统和平台的自动化。”