LinkedIn的AI自动生成照片文字描述

 
当今的计算机视觉技术是否足够强大，可以为各个领域的照片生成文字说明?这就是LinkedIn科学家在过去几年中一直在调查的问题，他们在今天下午的博客文章中详细介绍了解决方案。他们最有前途的工作之一是为该工具自动添加上载到LinkedIn的图像的建议替代文本描述的工具，该工具可以使用Microsoft的认知服务平台和基于LinkedIn的独特数据集来实现。
“目前，LinkedIn允许成员通过Web界面上传图像时手动添加替代文本描述，但并非所有成员都选择利用此功能，”特约作者Vipin Gupta，Ananth Sankar和Jyotsna Thapliyal写道。 “为了维护我们的愿景，我们必须使所有成员都可以访问富媒体……(这就是为什么)我们正在探索帮助我们改善LinkedIn上的内容可访问性。”
Gupta及其同事指出，在涉及自动字幕创建任务方面存在无数挑战，也许最明显的是字幕的主观性。最好的方法需要对各种对象及其属性具有广泛的专业知识和知识，以及有助于更准确地识别所描绘活动的基于时间的信息。
为了解决这些障碍，该团队利用了Cognitive Services的Analyze API开发了一项功能，该功能可以为按置信度得分排名的照片生成替代文字描述。然后，他们招募了人工评估人员，通过将得分(由其他文字描述，类别和标签提供的信息)与自己编写的标签进行核对，来对得分进行评分。
尽管Microsoft的API可以非常成功地识别人群，报纸等物体以及地铁等地方，但它最初还是与LinkedIn媒体进行了挣扎，LinkedIn媒体包含具有专业背景的图像，如幻灯片，投影仪，展览，会议，研讨会，海报，证书，图表等等。 。开发团队通过评估LinkedIn上现有替代文本描述的正确性来解决此问题，这有助于暴露特定于图像标题质量的可利用模式。
隔离了模式之后，该团队开发了一个元分类器，除了可以识别和修复包含诸如单词之类的不正确描述的图像描述校正模块外，还可以过滤出“可能损害[LinkedIn]成员的经历”的文本描述。他们说，“截图”改善了自动字幕的生成，为创建的元分类器模型奠定了基础，该模型将标签分类法，关联的词典以及与LinkedIn提要帖子相关的其他文本考虑在内。
“在LinkedIn供稿中添加富媒体引发了一个问题：供稿是否完全包含了所有LinkedIn成员?例如，有视力障碍的会员还能在饲料上享受丰富的媒体吗? Gupta及其同事写道：带宽有限的区域中的成员可以阻止图像完全加载，仍然可以享受完整的订阅体验吗? “ LinkedIn的AI团队[继续构建]针对LinkedIn平台的富媒体内容的图像描述模型，以帮助提高整体图像描述的准确性。”
LinkedIn对AI并不陌生。它的“推荐候选人”功能可学习给定职位的招聘条件，并在专用选项卡中自动显示相关候选人。而且其AI驱动的搜索引擎利用数据，例如人们在个人资料上发布的各种内容以及候选人执行的搜索，以生成最适合工作和求职者的预测。确实，LinkedIn在2016年将其订阅源从按时间倒序的顺序更改为更具个性化的内容，从而基于机器学习来预测用户的喜好和共享。