亚马逊解释Alexa如何学习新语言

 
亚马逊的Alexa助理最近学会了在全球讲新语言：北印度语，美国西班牙语和巴西葡萄牙语。亚马逊研究科学高级经理珍妮特·斯利夫卡(Janet Slifka)今天上午在Alexa博客上的帖子中解释说，合成数据在很大程度上起到了辅助作用，但这并不是万事俱备的解决方案。这些语言需要新的引导工具。
有问题的工具是由亚马逊的Alexa AI应用建模和数据科学小组开发的，并使用一种称为“语法归纳”的技术来分析“黄金话语”(即Alexa功能团队提出的客户要求的典型示例)并产生可以生成相似句子的一系列表达式。另一个是“引导式重采样”，它通过将可用数据中的示例中的单词和短语重新组合来创建新颖的句子，重点是优化句子类型的数量和分布。
斯利夫卡指出，当正在积极开发新语言版本的Alexa时，团队会为该系统收集培训数据，以避开客户的意图。一部分来自AI模型翻译的现有语言，其余通常来自人群工作者和Cleo(Alexa语音应用程序)，其任务是让客户提供提示的答案。
语法系统利用一种称为贝叶斯模型合并的技术来生成代表性语法，或者使用一组重写规则来通过单词插入，删除和替换来改变基本模板语句。通常，在给定50条黄金语音的情况下，该过程可能需要一天的计算语言才能完成，但是该工具通过识别语音列表中的模式并使用它们为数千个模板生成100条以上的候选规则，从而将流程缩短至几秒钟。例如，如果两个词(例如“ pop”和“ rock”)始终出现在相似的句法位置，但是它们周围的措词有所不同，则可能暗示一个候选规则，即“ pop”和“ rock”在某些情况下可以互换。
有用的是，语法系统可以自动确定哪个规则说明了样本数据中的最大差异(不过度概括)，这些规则在流程的进一步迭代中成为合格的变量。另外，它还可以利用现有的Alexa目录中经常出现的术语或短语。例如，如果金色话语与运动有关，并且确定“凯尔特人”和“湖人”这两个词是可以互换的，则可以得出结论，它们也可以与“战士”，“马刺”，“尼克斯”以及所有Alexa知道的NBA球队的其他名称。
至于引导重采样工具，它类似地使用目录和现有示例来增强自然语言理解培训数据。具体来说，它通过交换元素以生成额外的训练样本，例如“播放贾斯汀·比伯”和“你能演奏Camila Cabello的歌曲吗?”，使用所谓的Jaccard索引来评估内容之间的成对相似性。 (Jaccard索引测量了两个集合之间的重叠-在这种情况下，是不同类型请求中的内容。)结果是系统产生了比例更大的训练集，用于更复杂的话语数据模式，Slifka指出，该系统有助于AI模型实现更高的性能。
她写道：“ Alexa一直在变得越来越智能，而AMDS研究人员的这些创新和其他创新有助于确保Alexa在新的语言环境中启动时可能的最佳体验。”