新闻
您现在的位置:首页 > 新闻 > 我们如何消除AI系统中的偏见?从教他们选择性失忆开始
  • 新鸿基地产园区中心封面地标, 苏州环贸汇众盼而至

    新鸿基地产园区中心封面地标, 苏州环贸汇众盼而至

    发布时间:2021/12/28

    当苏州迈向全球都会序列之际,当苏州园区盛启一城想象之时。实力港企新鸿基地产携苏州首个超高层多业态综合体住宅——新鸿基地产苏州环贸汇澎湃而来,势将为苏州高净值投资人群挚献园区中心CBD地标之作,擎领苏州未...

  • 看图操作,三步即可开通微粒贷

    看图操作,三步即可开通微粒贷

    发布时间:2021/12/01

    ​微粒贷是由国内首家互联网银行微众银行推出的一款小额信贷产品,具有无抵押无担保、随借随还等特点,深受大家的喜欢。在此,小编结合官方资料,为想用微粒贷却不知怎么开通的朋友提供一些帮助。微粒贷开通 第一...

  • 百年变局新机遇 第九届岭南论坛在广州举行

    百年变局新机遇 第九届岭南论坛在广州举行

    发布时间:2021/11/22

    11月21日,第九届岭南论坛在广州成功举办。本次论坛围绕“百年变局新机遇”主题,原中国银行业监督管理委员会主席刘明康,中山大学岭南学院教授、博导、广东省人民政府参事陆军,斯坦福大学教授、2001年诺贝尔经济...

  • 北极光国际顾问有限公司创办人及行政总裁赵慧施 创新一站式家族传承平台

    北极光国际顾问有限公司创办人及行政总裁赵慧施 创新一站式家族传承平台

    发布时间:2021/11/18

    北极光国际顾问有限公司创办人及行政总裁赵慧施创新一站式家族传承平台 媒体发布总编辑:魏嫣   北极光国际顾问有限公司创办人及行政总裁赵慧施,一直抱持「承诺自己,成就别人」的企业经营理念,希望为社会...

  • 英国与快速反应小组一起抗击冠状病毒

    英国与快速反应小组一起抗击冠状病毒

    发布时间:2020/04/01

      英国政府宣布了新的措施,以打击虚假的COVID-19在线信息的传播,包括建立专门的专家小组来处理错误信息。 新成立的快速反应小组将在英国内阁办公室内部运作,并将研究应对互联网上“有害叙述”的方法-解决“...

  • 微软即将吸引消费者-但Skype仍将保留

    微软即将吸引消费者-但Skype仍将保留

    发布时间:2020/03/31

      微软今天宣布,今年晚些时候,它将推出Teams的基本消费版,即类似于Slack的文本,音频和视频聊天应用程序。就像Microsoft所喜欢的,您的个人生活团队将使用许多工具,这些工具将使家庭和小组更轻松地组织...

  • 安全漏洞暴露了共和党选民公司的内部应用代码

    安全漏洞暴露了共和党选民公司的内部应用代码

    发布时间:2020/03/31

      一家专供共和党政治运动使用的选民联系和拉票公司,错误地在其网站上留下了未经保护的应用程序代码副本,供任何人找到。 Campaign Sidekick公司通过iOS和Android应用程序帮助共和党竞选活动布署其选区,这...

  • 在宾夕法尼亚州,州酒商店仍然关闭,人们越来越口渴

    在宾夕法尼亚州,州酒商店仍然关闭,人们越来越口渴

    发布时间:2020/03/31

      随着美国人渴望长时间的自我隔离,白酒业务的销量激增。根据尼尔森(Nielsen)的数据,到3月中旬,这一增长已经比去年同期高出26%以上。但是,联盟中至少有一个州与这种趋势背道而驰,而且与消费者的意愿无...

我们如何消除AI系统中的偏见?从教他们选择性失忆开始

发布时间:2020/02/27 新闻 浏览次数:319

 
想象一下,如果下次您申请贷款,计算机算法将决定您主要根据种族,性别或邮政编码来支付较高的费用。
现在,想象一下有可能训练一个AI深度学习模型以通过诱发失忆来分析基础数据:它会忘记某些数据而只关注其他数据。
如果您认为这听起来像是计算机科学家撰写的“一尘不染的永恒阳光”,那么您将不胜枚举。多亏了南加州大学信息科学研究所(ISI)的AI研究人员,这个称为对抗性遗忘的概念现已成为一种真正的机制。
该论文的主要作者和博士Ayush Jaiswal指出,随着AI在我们日常生活中的日益普及,解决和消除AI中的偏见的重要性变得越来越重要。南加州大学维特比工程学院的候选人。
他解释说:“人工智能,更具体地说,机器学习模型继承了他们所训练的数据中存在的偏差,并且甚至容易放大这些偏差。” “人工智能已被用来做出影响我们所有人的几个现实生活中的决定,例如确定信贷额度,批准贷款,对工作申请进行评分等。例如,如果做出这些决定的模型在历史上受到盲目训练在不控制偏见的情况下获得数据,他们将学会不公平地对待属于历史上处于不利地位的人口群体的个人,例如妇女和有色人种。”
该研究由ISI研究小组负责人Wael AbdAlmageed和南加州大学维特比分校的谢明电子与计算机工程系的研究副教授,研究副教授Greg Ver Steeg以及计算机科学与工程学教授Premkumar Natarajan领导。 ISI执行董事(请假)。在他们的指导下,贾伊斯瓦尔(Jaiswal)和合著者丹尼尔·莫耶(Daniel Moyer)博士开发了对抗性遗忘方法,该方法教授深度学习模型来忽略特定的,不需要的数据因素,从而使它们产生的结果无偏且更准确。
该研究论文名为“通过对抗遗忘实现不变表示”,于2020年2月10日在纽约市人工智能促进协会会议上发表。
滋扰和神经网络
深度学习是AI的核心组成部分,可以教计算机如何找到相关性并使用数据进行预测,例如帮助识别人或物体。模型本质上是在数据中的不同特征与其应预测的目标之间寻找关联。如果模型的任务是从一个小组中找到一个特定的人,它将分析面部特征以区分所有人,然后识别目标人。简单吧?
不幸的是,事情并非总是能如此顺利地进行,因为该模型最终可能会学习似乎违反直觉的事情。它将您的身份与特定的背景或照明设置相关联,并且如果照明或背景发生了更改,则无法识别您;它可能会将您的笔迹与某个单词相关联,并且如果其他人的笔迹中写有相同的单词,则会感到困惑。这些恰当地命名的令人讨厌的因素与您要执行的任务无关,并且将它们与预测目标错误地关联可能最终导致危险。
模型还可以学习与预测目标相关但不期望的数据偏差。例如,在由涉及历史收集的社会经济数据的模型执行的任务中,例如确定信用评分,信用额度和贷款资格,该模型可能会做出错误的预测,并通过在偏差和预测目标之间建立联系来显示偏差。可以得出这样的结论:由于它正在分析一个女人的数据,所以她的信用评分一定很低。由于它正在分析有色人种的数据,因此他们一定没有资格获得贷款。并不乏银行因其算法的偏见决定而受到抨击的故事,这些决定是根据他们的种族,性别和教育程度,向已经贷款的人收取多少费用,即使它们的信用状况与更具社会特权的人群。
正如Jaiswal解释的那样,对抗性遗忘机制“修复”了神经网络,这是强大的深度学习模型,可以学习根据数据预测目标。您注册的那张新信用卡的信用额度是多少?神经网络可能会分析您的财务数据以得出该数字。
研究团队开发了对抗性遗忘机制,因此它可以首先训练神经网络来表示所分析数据的所有潜在方面,然后忘记指定的偏见。在信用卡限额的示例中,这意味着该机制可以教银行的算法来预测限额,同时忘记或不改变与性别或种族有关的特定数据。 Jaiswal说:“ [该机制]可用于训练神经网络,使其与训练数据集中的已知偏差保持不变。” “反过来,这将导致训练有素的模型在做出决策时不会受到偏见。”
深度学习算法擅长学习事物,但是要确保算法不学习某些事物则更加困难。开发算法是一个非常由数据驱动的过程,数据倾向于包含偏差。
但是,我们是否不能仅去除种族,性别和教育方面的所有数据来消除偏见?
不是完全。与这些敏感因素相关的数据还有许多其他因素,这些因素对于算法分析至关重要。正如ISI AI研究人员所发现的,关键是在模型的训练过程中添加约束,以迫使模型做出预测,同时又不因数据的特定因素而变,本质上是选择性遗忘。
对抗偏差
不变性是指即使特定对象的外观(即数据)以某种方式发生了改变也能够识别的能力,Jaiswal和他的同事开始思考如何将该概念应用于改进算法。他说:“我的合著者Dan [Moyer]实际上是根据我们以前在不变表示学习领域的经验自然地提出了这个想法。”但是充实这个概念并不是一件容易的事。他说:“最具挑战性的部分是与该领域以前的工作在广泛的数据集上进行严格的比较(这需要进行大量的实验),并[开发]关于遗忘过程的理论分析。”
对抗性遗忘机制还可用于帮助改善各个领域的内容生成。 Ver Steeg说:“公平机器学习的新兴领域正在研究减少基于消费者数据的算法决策中的偏差的方法。” “一个更具投机性的领域涉及使用AI生成内容的研究,包括尝试书籍,音乐,艺术品,游戏甚至食谱。要使内容生成成功,我们需要新的方法来控制和操纵神经网络表示,而遗忘机制可以可以做到这一点。”
那么,偏差如何首先出现在模型中?
大多数模型使用历史数据,但不幸的是,这些历史数据在很大程度上可能偏向于传统边缘化的社区,例如妇女,少数民族,甚至某些邮政编码。收集数据既昂贵又麻烦,因此科学家们倾向于求助于已经存在的数据并根据该数据训练模型,这就是偏见进入画面的方式。
令人欣慰的是,这些偏见已得到认可,尽管问题仍未得到解决,但在理解和解决这些问题方面已取得了长足的进步。 Jaiswal说:“在研究界,人们无疑越来越意识到数据集的偏差,并设计和分析收集协议以控制已知偏差。” “在过去的几年中,机器学习中的偏见和公平的研究作为一个研究领域迅速发展。”
领域专家根据统计分析确定哪些因素应视为无关或有偏见。贾伊斯瓦尔说:“到目前为止,不变性主要用于消除统计界普遍认为不想要/无关紧要的因素。”
但是,由于研究人员确定不相关或有偏见的事物,因此这些决定可能会自身转化为偏见。这也是研究人员正在研究的一个因素。 Ver Steeg指出:“弄清哪些因素是一个至关重要的问题,很容易导致意想不到的后果。” “自然界最近发表的关于公平学习的文章指出,如果我们希望正确指定算法解决方案,就必须理解歧视背后的机制。”
人工信息的处理极为复杂,而对抗性的遗忘机制帮助我们更进一步地发展可以像我们一样思考的AI。正如Ver Steeg所说,人类倾向于通过本能获取算法来分离关于周围世界的不同形式的信息,这是当前面临的挑战。
Ver Steeg说:“如果有人走在您的车前,您会在休息时大吃一惊,而他们衬衫上的口号甚至都不会进入您的脑海。” “但是,如果您是在社交场合遇到这个人的,那么这些信息可能是相关的,可以帮助您进行对话。