微软的AI自动在视频片段上发表评论

 
使用AI生成实时视频字幕可以增强社交媒体的参与度，也可以作为将视频转换为文本的基准。为此，前期工作已采用编码器/解码器模型来生成评论，但他们并未明确建模视频和评论之间的交互，因此它们倾向于生成无关的评论。
这就是为什么如果我在Microsoft Research Asia和哈尔滨工业大学的研究人员组成的团队在Arxiv.org上发布的预印本中提出一项新技术的原因。他们的模型反复学习捕获注释，视频和音频之间的表示形式，并且他们说在实验中，它的表现优于最新方法。
该系统(Github上可用的代码)将最相关的评论与来自候选集的视频进行匹配，从而共同学习跨模式表示。它基于Google的Transformers架构，该架构像所有神经网络一样包含分层排列的功能(神经元)，这些功能可传输数据信号并缓慢调整连接的强度(权重)。独特的是，变形金刚要引起注意，这意味着每个输出元素都连接到每个输入元素，并且它们之间的权重是动态计算的。
具体而言，自动实时评论系统包括三个组件：将视频和候选评论的不同形式转换为矢量(即数学表示形式)的编码器层;匹配层，学习每种模态的表示;预测层输出分数，该分数测量视频剪辑和评论之间的匹配程度。给定视频和时间戳，该模型旨在基于周围的注释，视觉部分和音频部分，从与时间戳附近的视频剪辑最相关的候选集中选择一条注释。在时间戳附近提取注释，对于视觉位，系统在时间戳附近对视频帧进行采样。
研究人员在一个视频评论数据集上对该系统进行了评估，该数据集包含从中国视频流媒体平台Bilibili收集的2,361个视频和895,929条评论。然后，他们构建了一个候选评论集，其中每个视频剪辑包含100条评论，其中包括真实评论，排名前20位的热门评论和随机选择的评论。
根据该团队的说法，该模型在包括相关性和正确性在内的多种度量方面胜过了多个基准。例如，在一个带有汤圆的剪辑中，它恰好在视频剪辑的关键点对圆饺做了注释。研究人员写道：“我们相信多模式预训练将是一个有前途的探索方向，图像字幕和视频字幕等任务将从预训练模型中受益。” “为了将来的研究，我们将进一步研究……在实际应用中视觉，音频和文本之间的多模式交互。”