我们如何消除AI系统中的偏见?从教他们选择性失忆开始

 
想象一下，如果下次您申请贷款，计算机算法将决定您主要根据种族，性别或邮政编码来支付较高的费用。
现在，想象一下有可能训练一个AI深度学习模型以通过诱发失忆来分析基础数据：它会忘记某些数据而只关注其他数据。
如果您认为这听起来像是计算机科学家撰写的“一尘不染的永恒阳光”，那么您将不胜枚举。多亏了南加州大学信息科学研究所(ISI)的AI研究人员，这个称为对抗性遗忘的概念现已成为一种真正的机制。
该论文的主要作者和博士Ayush Jaiswal指出，随着AI在我们日常生活中的日益普及，解决和消除AI中的偏见的重要性变得越来越重要。南加州大学维特比工程学院的候选人。
他解释说：“人工智能，更具体地说，机器学习模型继承了他们所训练的数据中存在的偏差，并且甚至容易放大这些偏差。” “人工智能已被用来做出影响我们所有人的几个现实生活中的决定，例如确定信贷额度，批准贷款，对工作申请进行评分等。例如，如果做出这些决定的模型在历史上受到盲目训练在不控制偏见的情况下获得数据，他们将学会不公平地对待属于历史上处于不利地位的人口群体的个人，例如妇女和有色人种。”
该研究由ISI研究小组负责人Wael AbdAlmageed和南加州大学维特比分校的谢明电子与计算机工程系的研究副教授，研究副教授Greg Ver Steeg以及计算机科学与工程学教授Premkumar Natarajan领导。 ISI执行董事(请假)。在他们的指导下，贾伊斯瓦尔(Jaiswal)和合著者丹尼尔·莫耶(Daniel Moyer)博士开发了对抗性遗忘方法，该方法教授深度学习模型来忽略特定的，不需要的数据因素，从而使它们产生的结果无偏且更准确。
该研究论文名为“通过对抗遗忘实现不变表示”，于2020年2月10日在纽约市人工智能促进协会会议上发表。
滋扰和神经网络
深度学习是AI的核心组成部分，可以教计算机如何找到相关性并使用数据进行预测，例如帮助识别人或物体。模型本质上是在数据中的不同特征与其应预测的目标之间寻找关联。如果模型的任务是从一个小组中找到一个特定的人，它将分析面部特征以区分所有人，然后识别目标人。简单吧?
不幸的是，事情并非总是能如此顺利地进行，因为该模型最终可能会学习似乎违反直觉的事情。它将您的身份与特定的背景或照明设置相关联，并且如果照明或背景发生了更改，则无法识别您;它可能会将您的笔迹与某个单词相关联，并且如果其他人的笔迹中写有相同的单词，则会感到困惑。这些恰当地命名的令人讨厌的因素与您要执行的任务无关，并且将它们与预测目标错误地关联可能最终导致危险。
模型还可以学习与预测目标相关但不期望的数据偏差。例如，在由涉及历史收集的社会经济数据的模型执行的任务中，例如确定信用评分，信用额度和贷款资格，该模型可能会做出错误的预测，并通过在偏差和预测目标之间建立联系来显示偏差。可以得出这样的结论：由于它正在分析一个女人的数据，所以她的信用评分一定很低。由于它正在分析有色人种的数据，因此他们一定没有资格获得贷款。并不乏银行因其算法的偏见决定而受到抨击的故事，这些决定是根据他们的种族，性别和教育程度，向已经贷款的人收取多少费用，即使它们的信用状况与更具社会特权的人群。
正如Jaiswal解释的那样，对抗性遗忘机制“修复”了神经网络，这是强大的深度学习模型，可以学习根据数据预测目标。您注册的那张新信用卡的信用额度是多少?神经网络可能会分析您的财务数据以得出该数字。
研究团队开发了对抗性遗忘机制，因此它可以首先训练神经网络来表示所分析数据的所有潜在方面，然后忘记指定的偏见。在信用卡限额的示例中，这意味着该机制可以教银行的算法来预测限额，同时忘记或不改变与性别或种族有关的特定数据。 Jaiswal说：“ [该机制]可用于训练神经网络，使其与训练数据集中的已知偏差保持不变。” “反过来，这将导致训练有素的模型在做出决策时不会受到偏见。”
深度学习算法擅长学习事物，但是要确保算法不学习某些事物则更加困难。开发算法是一个非常由数据驱动的过程，数据倾向于包含偏差。
但是，我们是否不能仅去除种族，性别和教育方面的所有数据来消除偏见?
不是完全。与这些敏感因素相关的数据还有许多其他因素，这些因素对于算法分析至关重要。正如ISI AI研究人员所发现的，关键是在模型的训练过程中添加约束，以迫使模型做出预测，同时又不因数据的特定因素而变，本质上是选择性遗忘。
对抗偏差
不变性是指即使特定对象的外观(即数据)以某种方式发生了改变也能够识别的能力，Jaiswal和他的同事开始思考如何将该概念应用于改进算法。他说：“我的合著者Dan [Moyer]实际上是根据我们以前在不变表示学习领域的经验自然地提出了这个想法。”但是充实这个概念并不是一件容易的事。他说：“最具挑战性的部分是与该领域以前的工作在广泛的数据集上进行严格的比较(这需要进行大量的实验)，并[开发]关于遗忘过程的理论分析。”
对抗性遗忘机制还可用于帮助改善各个领域的内容生成。 Ver Steeg说：“公平机器学习的新兴领域正在研究减少基于消费者数据的算法决策中的偏差的方法。” “一个更具投机性的领域涉及使用AI生成内容的研究，包括尝试书籍，音乐，艺术品，游戏甚至食谱。要使内容生成成功，我们需要新的方法来控制和操纵神经网络表示，而遗忘机制可以可以做到这一点。”
那么，偏差如何首先出现在模型中?
大多数模型使用历史数据，但不幸的是，这些历史数据在很大程度上可能偏向于传统边缘化的社区，例如妇女，少数民族，甚至某些邮政编码。收集数据既昂贵又麻烦，因此科学家们倾向于求助于已经存在的数据并根据该数据训练模型，这就是偏见进入画面的方式。
令人欣慰的是，这些偏见已得到认可，尽管问题仍未得到解决，但在理解和解决这些问题方面已取得了长足的进步。 Jaiswal说：“在研究界，人们无疑越来越意识到数据集的偏差，并设计和分析收集协议以控制已知偏差。” “在过去的几年中，机器学习中的偏见和公平的研究作为一个研究领域迅速发展。”
领域专家根据统计分析确定哪些因素应视为无关或有偏见。贾伊斯瓦尔说：“到目前为止，不变性主要用于消除统计界普遍认为不想要/无关紧要的因素。”
但是，由于研究人员确定不相关或有偏见的事物，因此这些决定可能会自身转化为偏见。这也是研究人员正在研究的一个因素。 Ver Steeg指出：“弄清哪些因素是一个至关重要的问题，很容易导致意想不到的后果。” “自然界最近发表的关于公平学习的文章指出，如果我们希望正确指定算法解决方案，就必须理解歧视背后的机制。”
人工信息的处理极为复杂，而对抗性的遗忘机制帮助我们更进一步地发展可以像我们一样思考的AI。正如Ver Steeg所说，人类倾向于通过本能获取算法来分离关于周围世界的不同形式的信息，这是当前面临的挑战。
Ver Steeg说：“如果有人走在您的车前，您会在休息时大吃一惊，而他们衬衫上的口号甚至都不会进入您的脑海。” “但是，如果您是在社交场合遇到这个人的，那么这些信息可能是相关的，可以帮助您进行对话。