Waymo的AI内容搜索工具可让工程师快速找到行车记录中的对象

 
AI是自动驾驶汽车感知慢跑者，骑自行车者，交通信号灯，道路标志，树木，灌木等的方法，它会告知遇到这些信号时他们选择表现的方式。 Waymo车队中的车辆也不例外，它们利用AI做出实时驾驶决策，部分原因是将其车载传感器发现的障碍物与Alphabet公司数据库中的数十亿个对象进行匹配。
大数据集在自动驾驶领域中是无价的，因为它们使基础AI能够自我完善。但是，从历史上看，工程师很难在不花费时间和精力的情况下浮出这些样品集中的样品。因此，Waymo开发了所谓的“内容搜索”，该技术采用了类似于Google Photos和Google Image Search的技术，从而使数据科学家可以快速定位Waymo驾驶历史和日志中的几乎所有物体。
Waymo先前与Alphabet的DeepMind合作开发了受进化生物学启发的AI技术。后者的PBT(基于人口的培训)以多种机器学习模型开始，并用“后代”代替了表现欠佳的成员，在行人，自行车和摩托车驾驶员识别任务中设法将误报率降低了24%，同时减少了培训时间和计算资源。半。实际上，在进行了一项初步研究之后，PBT与Waymo的技术基础架构直接集成在一起，从而使整个公司的研究人员都可以通过单击按钮来应用它。
数据挖掘
Waymo指出，Waymo Driver是无人驾驶的车辆感知和决策技术的堆栈，具有车队意识，因此，其他人可以共享一辆汽车所学到的一切。 (像Waymo One的商业机器人出租车服务那样部署的克莱斯勒Pacifica小型货车通过一组双无线调制解调器交换有关危险和路线变更的信息。)鉴于运输的新兴趋势，例如最近，电动踏板车和自行车的普及率上升。
Waymo内容搜索
Waymo在博客中解释道：“ Waymo Driver经常遇到新的交通工具。” “因此，我们希望不断训练我们的系统，以确保我们不仅能够区分车辆和骑自行车的人，而且还能区分行人和踩踏板车的人。”
过去，Waymo的研究人员不得不依靠启发式方法在Waymo的日志中找到不同的样本，其中许多样本只是根据各种功能(例如，物体的估计速度和高度)来解析数据。例如，为找到骑踏板车的人的例子，Waymo工程师可能已指定他们希望看到一定高度的物体每小时在0到20英里之间移动。但是结果往往过于广泛。
Waymo内容搜索
相比之下，内容搜索将这种数据挖掘任务作为搜索问题来处理。它为数据目录建立索引，进行相似性搜索以查明“超细分类”中的对象并识别文本，从而允许它通过运行图像比较查询来查找与记录的对象相似的项目。给定仙人掌的图像，例如，无论是驾驶历史记录的仙人掌还是仙人掌的图画，Content Search都会返回Waymo的自动驾驶车辆观察到外观相似物体的实例。
内部机器学习
Content Seach通过将Waymo驾驶记录中的每个对象(无论是公园长椅，路边附近的垃圾桶还是移动的对象)转换为嵌入或从属性派生的数学表示，发挥其魔力。这样一来，该工具就可以按照对象之间的相似程度对对象进行排名，类似于Google的实时嵌入相似度匹配服务所采用的过程。更好的是，它使Content Search可以将查询与数据日志中的图像进行比较，并在几秒钟内找到相似的对象。
Waymo内容搜索
Waymo指出，即使只对一类物体进行概括和检测，也无需在公园里走动-物体的形状，形式和类型各不相同，范围从塑料袋到轮胎废料再到纸板箱和丢失的裤子。该公司的工程师通过各种示例训练了一系列AI，以帮助对熟悉和不熟悉的项目进行分类，并且他们使用内容搜索后端，该后端采用分类AI模型来了解图像中是否存在对象类别。此外，他们还拥有最先进的光学字符识别模型，可根据场景中发现的文字和文字对行车日志进行注释，从而使Content Search能够理解道路标志，应急车辆以及其他带有标牌的汽车和卡车等物品(例如大型卡车上的“超大号”通知)。
这样，Waymo的工程师就可以对具有特定特征的物体进行小众搜索，例如汽车的制造商和型号，甚至特定品种的狗。
Waymo写道：“借助Content Search，我们可以自动注释…驾驶记录中的对象，从而以指数方式提高了发送给标签的数据的速度和质量。” “加速标记的能力为我们整个系统做出了许多改进，从发现有孩子要踏上人行道的校车，或者乘坐电动踏板车的人到过马路的猫或狗，都可以。随着Waymo扩展到更多城市，我们将继续遇到新的事物和场景。”