微软训练世界上最大的Transformer语言模型

 
微软AI&Research今天分享了有史以来最大的基于Transformer的语言生成模型，并开源了一个名为DeepSpeed的深度学习库，以简化对大型模型的分布式培训。
图灵NLG的参数为170亿个，是英伟达的Megatron(现在是第二大变形金刚机型)的两倍，其参数是OpenAI的GPT-2的十倍。 Turing NLG在一系列NLP任务上均达到了最新水平。
像Google的Meena一样，最初使用GPT-2，图灵NLG最初只能在私人演示中共享。
具有Transformer架构的语言生成模型可以预测下一个单词。它们可用于编写故事，以完整的句子生成答案以及总结文本。
来自AI领域的专家告诉VentureBeat 2019，这是使用Transformer架构的NLP模型开创性的一年，这种方法导致语言生成和GLUE基准测试领导者如Facebook的RoBERTa，Google的XLNet和Microsoft的MT-DNN取得了进步。
也是今天：Microsoft开源DeepSpeed，这是一个深度学习库，为开发人员进行了优化，可提供低延迟，高吞吐量的推断。
DeepSpeed包含零冗余优化器(ZeRO)，可用于大规模训练具有1亿个或更多参数的模型，Microsoft曾用它训练Turing NLG。
微软AI研究应用科学家科比·罗塞特(Corby Rosset)写道：“除了通过汇总文档和电子邮件来节省用户时间之外，T-NLG还可以通过为作者提供写作帮助并回答读者可能对文档提出的问题来增强Microsoft Office套件的体验。今天的博客文章。
开发人员和机器学习从业人员都可以使用DeepSpeed和ZeRO，因为培训大型网络(例如使用Transformer架构的网络)可能会很昂贵，而且可能会遇到大规模问题。
在其他自然语言AI新闻中，Google的DeepMind今天发布了Compressive Transformer远程内存模型和PG19，这是用于分析书本长度语言生成性能的基准。