Google的AI语言模型Reformer可以处理整本小说

 
无论是语言，音乐，语音还是视频，人工智能和机器学习模型都不容易理解顺序数据，尤其是当它取决于广泛的周围环境时。例如，如果某个人或物体在视频中从视图中消失后才出现，那么很多算法都会忘记它的外观。 Google的研究人员着手使用Transformer解决此问题，Transformer的体系结构可扩展到数千个单词，从而大大提高了歌曲创作，图像合成，逐句文本翻译和文档摘要等任务的性能。
但是Transformer并非完美无缺-将其扩展到更大的上下文显然可以证明其局限性。使用大窗口的应用程序对内存的要求从千兆字节到TB级不等，这意味着模型只能吸收几段文字或生成简短的音乐。因此，Google今天推出了Reformer，这是Transformer的改进版本，旨在处理多达一百万个单词的上下文窗口。通过利用位置敏感哈希(LSH)和可逆残差层之类的技术来有效使用内存并降低长序列的复杂性，它可以在仅使用16GB内存的单个AI加速器芯片上运行。
在4月在埃塞俄比亚的亚的斯亚贝巴举行的2020年国际学习代表大会上，Reformer论文进行了演讲之前，该代码和一些示例应用程序已公开开源。
与所有深层神经网络一样，变形金刚包含排列在相互连接的层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformer的独特之处在于将每个输出元素都连接到每个输入元素。实际上，它们之间的权重是动态计算的。
正如我的同事Khari Johnson指出的那样，2019年最大的机器学习趋势之一就是基于这种Transformer设计的自然语言模型的持续增长和扩散。 Google在2018年开源了基于Transformer的模型BERT。根据GLUE排行榜，今年发布了许多性能最高的模型-包括Nvidia的Megatron，Google的XLNet，微软的MT-DNN和Facebook的RoBERTa-基于《变形金刚》。公司发言人最近告诉VentureBeat，XLNet 2将于本月晚些时候发布。
然后，Reformer计算与相似向量(用于表示机器学习中人类可读数据的代数构造)匹配的哈希函数(用于将任意大小的数据映射到固定大小的值的函数)，而不是搜索所有可能的向量对。 (例如，在翻译任务中，来自网络第一层的每个向量代表一个单词，对应于不同语言的相同单词的向量可能会获得相同的哈希值。)分配哈希后，序列会重新排列为将具有相同散列的元素放在一起并分成多个段以进行并行处理。然后，将注意力放在这些短得多的段及其相邻的相邻段内，从而大大减少了计算量。
由于上述可逆存储器，Reformer还可按需重新计算每个层的输入，而不是将其存储在内存中。激活(确定网络输出，准确性和计算效率的功能)来自网络最后一层，用于从任何中间层恢复激活，每层使用两组激活。一层从一层逐渐更新到下一层，而另一层仅捕获对第一层的更改。
“由于Reformer的效率如此之高，它可以直接应用于上下文窗口远大于几乎所有当前最新文本域(数据集)的数据，” Google研究人员ŁukaszKaiser写道以及加州大学伯克利分校的学生Nikita Kitaev在博客中发表的文章。 “也许Reformer处理如此大的数据集的能力将激发社区创建它们的能力。”
该研究小组对基于重整器的图像和文本模型进行了实验，使用它们来生成图像中丢失的细节并处理整本小说《犯罪与惩罚》(包含211,591个单词)。他们表明，Reformer可以逐像素生成全帧图像，并且可以在单轮训练中接受新颖长度的文本。
作者将将来的技术应用到更长的序列，并改善对位置编码的处理。 “我们相信，Reformer为将来使用Transformer模型提供了基础，包括长文本和自然语言处理之外的应用程序，” Kaiser和Kitaev补充说。
在去年下半年的一次采访中，谷歌AI负责人杰夫·迪恩(Jeff Dean)对VentureBeat表示，更大的背景将是谷歌未来工作的重点。他说：“我们仍然希望能够做更多上下文相关的模型。” “像现在这样，BERT和其他模型可以很好地处理数百个单词，但上下文上下文中不能使用10,000个单词。因此，这是[有趣的方向。”
改革者似乎是朝这个方向迈出的有希望的第一步。