Google的全新Meena聊天机器人模型到底有多重要?

 
像Google和Facebook这样的技术巨头已经让我们习惯了，甚至厌倦了他们在AI领域取得的无休止的令人印象深刻的进展公告。但是，当Google宣布建立了一个“可以聊天……任何东西的对话代理”时，即使是我们中间最厌倦的人也必须注意。
自从我在该领域工作以来，就帮助组织建立了对话解决方案，我对此特别感兴趣。机器人的最大挑战之一是处理用户可能说出的无限可能的短语并做出适当的响应。可以聊天的机器人似乎就是我们解决这一挑战所需要的东西。因此，问题就来了，到底是Google的新机器人Meena对希望部署对话式AI应用程序的组织有何影响。我们找到圣杯了吗?我们的机器人最终会不会停止说“对不起，我不太了解”?好吧，简短的答案是不，我们还没有到那儿。尽管如此，Meena令人印象深刻，并代表着解决该问题的迷人尝试。在接下来的几段中，我将总结Google所做的工作以及这将如何影响未来几天，几个月和几年内的对话式AI。
什么是米娜?
让我们开始分析这里要处理的内容。 Google发明了什么?
好吧，Meena是一个26亿参数的端到端训练的神经对话模型。根据Google的说法，最好的Meena版本经过30天的训练，使用了2,048张量处理单元(Google专用的AI专用芯片)，数据集为400亿个单词。不只是随机的单词。 Google挖掘了公共领域的社交媒体，以进行“多回合对话”，其中“回合”是对话中的一对短语。因此，Google出去进行了我们的对话，其中包括400亿个单词，并训练了一个神经网络以将其显示为对话的七个回合作为输入来进行回复。无论如何，米娜是广阔的。即使Google发布了所有它尚未发布的代码，也只有少数组织能够训练类似Meena的模型。这是首先要了解的。 Meena仍在实验室中，并且管理起来非常复杂。您尚不能将其合并到工具中，并且Google不太可能很快将其作为服务提供。因此，恐怕在短期到中期内，我们的机器人将不得不在没有梅娜的帮助下生存。
米娜能做什么?
Meena不能立即获得，前沿研究通常就是这样。逐步投入实际产品需要时间。但是，这项研究告诉我们我们的产品在中长期内将朝什么方向发展?我们真的可以聊天吗?Meena真的是那里最好的聊天机器人吗?这是有趣的地方。
首先，要声称Meena胜过其他聊天机器人，我们需要一些评估标准。 Google引入了一个新的指标来帮助解决这一问题，称为“敏感性和特异性平均值”或SSA。此分数带来的创新之处在于，它既可以衡量机器人的答案是否合理，也可以衡量人对合理答案的合理评价，也可以确定答案是否具体。通常，漫游器会使用“技巧”来使您认为他们正在跟上对话，而在实践中，它们只是给出不一定特定于上下文的通用响应。例如，您可能会进行如下对话：
人：我真的很喜欢间谍电影!
Bot：太好了。告诉我更多!
这是一个明智的回应，但并不具体。对于一个人的任何数量的陈述，相同的答案都适用。更具体的答复是：
人：我真的很喜欢间谍电影!
Bot：太好了。我喜欢所有不可能完成的间谍电影。哪个是你最喜欢的?
Google对Meena和其他聊天机器人(XiaoIce，Mitsuku，CleverBot和DialoGPT)的特异性和敏感性进行了评分，这些评分的平均值给出了最终的SSA评分。 Google所描述的数字有些细微差别，但大致来说：
Meena的SSA得分为79%，Mitsuku和Cleverbot为56%，DialoGPT为48%，XiaoIce为31%。鉴于该指标也可用于评估人类对话，因此Google测算的人类SSA平均值为86%，因此Meena确实非常接近这一水平。
总而言之，根据Google自己的计分方法，Meena在长达7轮的对话中直接衡量该机器人的响应是否既明智又具体，Meena的得分比其他聊天机器人都高。为了提供一些背景信息，Mitsuku是Loebner奖Turing测试的获胜者，而XiaoIce提供了一种非常受欢迎的Microsoft服务，该服务可以与数亿用户对话。即使使用评分方法可以轻松找到缺点，并使用Google自己提出的指标来争论Google的客观性，Meena所做的却令人印象深刻。当我们认为Meena是端到端训练的神经网络模型而Mitsuku和XiaoIce是具有更多人为干预的混合系统时，更是如此。
有什么影响?
简而言之，Meena可以在几回合的交谈中聊天。但是，Meena无法可靠地教您任何内容。 Meena不会尝试帮助您完成任务或专门学习新知识。它没有明确的目的或目的进行交谈。尽管我们可能花了很多时间来谈论重要性，但在与以机器人为动力的数字服务进行交互时，我们往往会寻找一些特定的东西。我们希望预订机票或解决客户支持问题。或者，我们希望获得有关特定领域的准确信息，或者针对所面临挑战的情感或心理支持。
对话式产品有其目的，即使它们在开放性问题上失败了，它们也会尝试与您一起完成任务。 Meena首先将对话的人性化之处放在首位。但是，对于给定不同类型的任务，我们有很多东西要学习什么是合适的对话方法。有研究表明，在某些情况下(尤其是涉及敏感的个人信息)，更像“机器人”般的响应是可取的，并且像人一样的世界并不是机器人的最终目标。从社交媒体互动中学到的对话，Meena在哪里找到作用?而且，如果将其插入对话体验中，我们如何保证不会说出不适当的话?数百万个公共领域的社交媒体对话是否是世界上最好的聊天机器人的正确数据集?
底线
Meena是聊天机器人领域的杰出贡献。在这里很难捕捉到Google所完成任务的艰巨性。但是我们在传达研究结果时需要谨慎。诸如“可以聊天的机器人”或“最佳聊天机器人”之类的描述不一定有用。他们将注意力从这项研究的真正意义上转移了注意力-定义了类似于人的对话，并探讨了在聊天机器人世界中对于这种对话的作用或重要性。随着越来越多的对话式AI解决方案进入我们的日常生活，我们需要关注对人类最有价值的事物。 Meena使我们更接近该目标，但还没有完全实现目标。