新闻
您现在的位置:首页 > 新闻 > Nvidia的TensorRT 7改进了对话式AI模型的编译器
  • 新鸿基地产园区中心封面地标, 苏州环贸汇众盼而至

    新鸿基地产园区中心封面地标, 苏州环贸汇众盼而至

    发布时间:2021/12/28

    当苏州迈向全球都会序列之际,当苏州园区盛启一城想象之时。实力港企新鸿基地产携苏州首个超高层多业态综合体住宅——新鸿基地产苏州环贸汇澎湃而来,势将为苏州高净值投资人群挚献园区中心CBD地标之作,擎领苏州未...

  • 看图操作,三步即可开通微粒贷

    看图操作,三步即可开通微粒贷

    发布时间:2021/12/01

    ​微粒贷是由国内首家互联网银行微众银行推出的一款小额信贷产品,具有无抵押无担保、随借随还等特点,深受大家的喜欢。在此,小编结合官方资料,为想用微粒贷却不知怎么开通的朋友提供一些帮助。微粒贷开通 第一...

  • 百年变局新机遇 第九届岭南论坛在广州举行

    百年变局新机遇 第九届岭南论坛在广州举行

    发布时间:2021/11/22

    11月21日,第九届岭南论坛在广州成功举办。本次论坛围绕“百年变局新机遇”主题,原中国银行业监督管理委员会主席刘明康,中山大学岭南学院教授、博导、广东省人民政府参事陆军,斯坦福大学教授、2001年诺贝尔经济...

  • 北极光国际顾问有限公司创办人及行政总裁赵慧施 创新一站式家族传承平台

    北极光国际顾问有限公司创办人及行政总裁赵慧施 创新一站式家族传承平台

    发布时间:2021/11/18

    北极光国际顾问有限公司创办人及行政总裁赵慧施创新一站式家族传承平台 媒体发布总编辑:魏嫣   北极光国际顾问有限公司创办人及行政总裁赵慧施,一直抱持「承诺自己,成就别人」的企业经营理念,希望为社会...

  • 英国与快速反应小组一起抗击冠状病毒

    英国与快速反应小组一起抗击冠状病毒

    发布时间:2020/04/01

      英国政府宣布了新的措施,以打击虚假的COVID-19在线信息的传播,包括建立专门的专家小组来处理错误信息。 新成立的快速反应小组将在英国内阁办公室内部运作,并将研究应对互联网上“有害叙述”的方法-解决“...

  • 微软即将吸引消费者-但Skype仍将保留

    微软即将吸引消费者-但Skype仍将保留

    发布时间:2020/03/31

      微软今天宣布,今年晚些时候,它将推出Teams的基本消费版,即类似于Slack的文本,音频和视频聊天应用程序。就像Microsoft所喜欢的,您的个人生活团队将使用许多工具,这些工具将使家庭和小组更轻松地组织...

  • 安全漏洞暴露了共和党选民公司的内部应用代码

    安全漏洞暴露了共和党选民公司的内部应用代码

    发布时间:2020/03/31

      一家专供共和党政治运动使用的选民联系和拉票公司,错误地在其网站上留下了未经保护的应用程序代码副本,供任何人找到。 Campaign Sidekick公司通过iOS和Android应用程序帮助共和党竞选活动布署其选区,这...

  • 在宾夕法尼亚州,州酒商店仍然关闭,人们越来越口渴

    在宾夕法尼亚州,州酒商店仍然关闭,人们越来越口渴

    发布时间:2020/03/31

      随着美国人渴望长时间的自我隔离,白酒业务的销量激增。根据尼尔森(Nielsen)的数据,到3月中旬,这一增长已经比去年同期高出26%以上。但是,联盟中至少有一个州与这种趋势背道而驰,而且与消费者的意愿无...

Nvidia的TensorRT 7改进了对话式AI模型的编译器

发布时间:2019/12/19 新闻 浏览次数:755

 
英伟达今天在苏州举行的GPU技术大会上宣布的唯一内容并不是与滴滴出行的合作以及新的自动驾驶解决方案。该芯片公司借此机会推出了TensorRT 7,这是其用于图形卡上的高性能深度学习推理的平台的最新版本,该平台随附针对实时推理工作负载进行了优化的改进编译器。
TensorRT 7将在接下来的几天从TensorRT网页免费提供给Nvidia开发人员计划的成员,并且最新版本的插件,解析器和示例将在TensorRT GitHub存储库中发布。作为Nvidia推理套件的一部分,该平台与Cuda-X AI库一起提供,可以验证和部署经过训练的神经网络进行推理,而与硬件,数据中心或带有图形卡的嵌入式设备无关。该公司指出,世界上一些最大的品牌,包括阿里巴巴,美国运通,百度,Pinterest,Snap,腾讯和Twitter,都在使用TensorRT进行图像分类,欺诈检测,分割和对象检测等任务。
Nvidia创始人兼首席执行官黄仁勋在主题演讲中说:“我们进入了AI的新篇章,机器可以实时理解人类语言。” Juniper Research的一项研究预测说,将有80亿台带有数字助理的设备到2023年使用量将从目前的32.5亿增加到“ TensorRT 7帮助实现这一目标,为各地的开发人员提供了工具,以构建和部署更快,更智能的对话式AI服务,从而实现更自然的人机交互。”
Huang说,上述编译器会自动加速复杂语音应用所需的基于递归和基于Transformer的机器学习模型。变形金刚是Google AI研究部门Google Brain的一种架构研究人员,它包含分层排列的功能(神经元),这些功能可以传输来自数据的信号并调整连接的突触强度(权重)。这就是所有AI模型提取特征并学会做出预测的方式,但是Transformers独特地关注到每个输出元素都连接到每个输入元素,从而迫使它们之间的权重得到动态计算。
与基于处理器的方法相比,TensorRT 7表面上将Transformer和循环网络组件(包括诸如DeepMind的WaveRNN和Google的Tacotron 2和BERT的流行网络)的速度提高了十倍以上,同时将延迟降低到了真正的实际必需的300毫秒阈值以下时间互动。在某种程度上,这要归功于针对循环循环结构的优化,该结构用于对诸如文本和语音记录之类的时间序列数据进行预测。