AI研究人员推出了SuperGLUE，这是一种严格的语言理解基准

 
Facebook AI Research与Google的DeepMind，华盛顿大学和纽约大学合作，今天推出了SuperGLUE，这是一系列基准测试任务，用于衡量现代，高性能语言理解AI的性能。
SuperGLUE的前提是会话AI的深度学习模型“达到了上限”，需要更大的挑战。它使用Google的BERT作为模型性能基准。在2018年的许多方面都被认为是最先进的，BERT的性能已经超过今年的许多型号，如微软的MT-DNN，谷歌的XLNet和Facebook的RoBERTa，所有这些都部分基于BERT并实现了性能高于人类基线平均值。
SuperGLUE之前是纽约大学，华盛顿大学和DeepMind的研究人员于2018年4月对语言理解的一般语言理解评估(GLUE)基准。 SuperGLUE旨在比GLUE任务更复杂，并鼓励构建能够掌握更复杂或细微差别的语言的模型。
GLUE根据对NLU系统的九个英语句子理解任务的表现给出模型的数值分数，例如斯坦福情感树库(SST-2)，用于从在线电影评论的数据集中获得情绪。 RoBERTa目前在GLUE的数字得分排行榜上排名第一，在9个GLUE任务中有4个具有最先进的性能。
“SuperGLUE包含在一系列困难的NLP任务中测试创造性方法的新方法，这些任务侧重于机器学习的许多核心领域的创新，包括样本高效，转移，多任务和自我监督学习。为了挑战研究人员，我们选择了各种格式的任务，有更细微的问题，尚未使用最先进的方法解决，并且很容易被人们解决，“Facebook AI研究人员在今天的博客文章中说。
新基准包括八项任务，用于测试系统遵循原因，识别因果关系，或在阅读短文后回答是或否问题的能力。 SuperGLUE还包含Winogender，一种性别偏见检测工具。 SuperGLUE排行榜将在super.gluebenchmark.com在线发布。关于SuperGLUE的详细信息可以在5月份发布在arXiv上的一篇论文中阅读，并在7月份进行修订。
“目前的问答系统主要关注琐事类型的问题，例如水母是否有大脑。这个新的挑战更进一步，要求机器详细阐述开放式问题的深入答案，例如“水母如何在没有大脑的情况下运作?”这篇文章读到了。
为了帮助研究人员创建强大的语言理解AI，纽约大学今天还发布了Jiant的更新版本，这是一个通用文本理解工具包。 Jiant构建于PyTorch之上，配置为使用BERT和OpenAI GPT的HuggingFace PyTorch实现以及GLUE和SuperGLUE基准测试。 Jiant由纽约大学机器学习语言实验室维护。
在最近的其他NLP新闻中，Nvidia周二表示其GPU已经实现了BERT最快的培训和推理时间，并培训了迄今为止最大的基于变压器的NLP，其中包括83亿个参数。