衡量AI系统智能的最佳方法是什么?研究人员正在开发智商测试

 
人工智能可以做很多令人印象深刻的事情，例如在被远程摄像机捕获的喜马拉雅草丛中发现雪豹，通过交通操纵自动驾驶汽车，以及在游戏Go中击败世界一流的对手。
但是，正如人们所理解的那样，这些系统实际上是智能的吗?
华盛顿州立大学铂尔曼分校的研究人员正在开发一项智商测试，以挑战AI系统以了解他们的真实知识。
WSU摄政教授戴安娜·库克(Diane Cook)表示：“我们拥有能够在各种任务上真正变得出色的AI系统。”但是这些功能在每个系统中往往都很狭窄。 “它真的很聪明，因为它只是学会了完成一项任务?”
库克和拉里·霍尔德(Larry Holder)都是华盛顿州立大学电气工程与计算机科学学院的教授，最近都获得了100万美元的赠款，该笔赠款将用五年的时间解决这个问题。这笔钱来自美国军方国防高级研究计划局(DARPA)。
资金是在一个月前开始的，研究人员从有关智能范围的基本问题开始，包括识别图像，理解和生成自然语言，推理以及在解决问题中使用计划。科学家们希望使用严格的措施，例如对新经历做出反应以及将知识转移到不同情况的能力。他们还想测试机器知识中的偏见;偏见可能导致种族，性别和其他形式的歧视，具体取决于算法的应用。
定义和衡量智能是一项艰巨的任务。只需看看提出有效的标准化测试来衡量学生或求职者的各种智能的难度。
波特兰州立大学计算机系教授Melanie Mitchell说：“如果要查看您的计算机是否具有通用智能，则必须定义通用智能的含义，并确保您的测试确实在测试该特性。”不属于DARPA项目的科学人员。
如果要查看您的计算机是否具有通用情报，则必须定义通用情报的含义，并确保您的测试确实在对此进行测试。
该领域的挑战之一是机器学习的方式。米切尔(Mitchell)举了一个例子，在她的实验室中，一名学生正在教一个程序来识别包含动物的照片。直到研究人员意识到算法不是要键入的生物的图像，而是背景模糊之后，才开始学习该技能。事实证明，这些动物通常是焦点对准的，而背景不是焦点对准的，而只有风景的场景具有清晰的背景。
米切尔说：“很多误解是，机器学会了做诸如围棋或识别物体之类的事情，因此我们认为它是用与我们相同的方式来学习的。” “当它没有以我们的方式学习并且无法传播其知识时，我们感到惊讶。”
WSU项目是DARPA的“人工智能和开放世界新奇学习”(SAIL-ON)计划的一部分。
SAIL-ON网站表示：“为了使AI系统能够在各种军事应用中有效地与人类合作，智能机器需要从有限范围内的封闭世界问题解决中毕业，以变化多端的新颖情况为特征的开放世界挑战。”该计划的目标是创建和测试高性能的AI系统，以满足军方的需求。
还有其他组织致力于扩展和了解AI能力。在西北地区，包括西雅图的艾伦人工智能研究所(AI2)和华盛顿大学的保罗·艾伦计算机科学与工程学院的AI小组。 9月，AI2宣布已建立了一个名为Aristo的AI程序，该程序足够聪明，可以通过八年级多项选择科学测试。
WSU的Holder拥有一个人工智能商或“ AIQ”网站，其中有一些针对AI开发人员的初步测试，以测试他们的系统。该网站是一个公开可用的工具，还将为研究人员提供数据。
Holder在准备好的版本中说：“我们专注于测试和改进更具通用性的系统，例如可以帮助您完成许多日常任务的机器人助手。”
华盛顿州立大学的科学家旨在创建一种能够根据其解决难题的难度对AI技术进行分级的测试。最初的测试计划包括视频游戏，回答多项选择问题并解决魔方。
库克说：“这是一次机会，可以让草根回到基层，并说出人工智能是什么。”