Nvidia的TensorRT 7改进了对话式AI模型的编译器

 
英伟达今天在苏州举行的GPU技术大会上宣布的唯一内容并不是与滴滴出行的合作以及新的自动驾驶解决方案。该芯片公司借此机会推出了TensorRT 7，这是其用于图形卡上的高性能深度学习推理的平台的最新版本，该平台随附针对实时推理工作负载进行了优化的改进编译器。
TensorRT 7将在接下来的几天从TensorRT网页免费提供给Nvidia开发人员计划的成员，并且最新版本的插件，解析器和示例将在TensorRT GitHub存储库中发布。作为Nvidia推理套件的一部分，该平台与Cuda-X AI库一起提供，可以验证和部署经过训练的神经网络进行推理，而与硬件，数据中心或带有图形卡的嵌入式设备无关。该公司指出，世界上一些最大的品牌，包括阿里巴巴，美国运通，百度，Pinterest，Snap，腾讯和Twitter，都在使用TensorRT进行图像分类，欺诈检测，分割和对象检测等任务。
Nvidia创始人兼首席执行官黄仁勋在主题演讲中说：“我们进入了AI的新篇章，机器可以实时理解人类语言。” Juniper Research的一项研究预测说，将有80亿台带有数字助理的设备到2023年使用量将从目前的32.5亿增加到“ TensorRT 7帮助实现这一目标，为各地的开发人员提供了工具，以构建和部署更快，更智能的对话式AI服务，从而实现更自然的人机交互。”
Huang说，上述编译器会自动加速复杂语音应用所需的基于递归和基于Transformer的机器学习模型。变形金刚是Google AI研究部门Google Brain的一种架构研究人员，它包含分层排列的功能(神经元)，这些功能可以传输来自数据的信号并调整连接的突触强度(权重)。这就是所有AI模型提取特征并学会做出预测的方式，但是Transformers独特地关注到每个输出元素都连接到每个输入元素，从而迫使它们之间的权重得到动态计算。
与基于处理器的方法相比，TensorRT 7表面上将Transformer和循环网络组件(包括诸如DeepMind的WaveRNN和Google的Tacotron 2和BERT的流行网络)的速度提高了十倍以上，同时将延迟降低到了真正的实际必需的300毫秒阈值以下时间互动。在某种程度上，这要归功于针对循环循环结构的优化，该结构用于对诸如文本和语音记录之类的时间序列数据进行预测。