天啊!连AI都有种族歧视了?!

 

 

你是否也经历过因为口音和语调而被人歧视的瞬间?一些研究者发现,一些AI系统也正在学习人类对于某一些方言系统的歧视。而当以语言为基础的AI系统变得越来越普遍,一些少数族裔已经自动成为了被机器忽视或者看低的对象。而我们是否已经接到警告的信息要开始对这一趋势进行必要的防控呢?

 

 

任何有着浓重或者不常见的口音的人都有可能有过被Siri或Alexa误解的经历。这是因为声音识别系统是使用自然语言技术来解析话语的内容,而这种解析经常是完全依赖于人工主体收到的标准数据上的。如果某一种特定的口音或是方言并没有足够的样本数据的话,这些语音识别系统过就很难听懂他们究竟在说什么。

 

这个问题比很多人意识到的都要严重得多。自然语言科技现在已经通过自动化后的电话系统或是chatbot支撑着与顾客的自动交流。它也被用来挖掘网络和社交媒体上的公众意见,和梳理文本材料里的有效信息。这意味着所有基于自然语言系统的服务和产品已经开始了对于特定族群的歧视 。

 

 

Brendan O’Connor, 一个麻省大学的助理教授,和他的一个研究生,Su Lin Blodgett,调查了推特上语言的使用。在人口统计滤镜的帮助下,他们成功搜集了 5 亿 9 千万条含有明显美国非裔口头禅和方言的推特。之后他们使用了数款自然语言处理工具来识别这些数据。他们随即发现,一款非常流行的工具自信地将这些推文认定为了丹麦语。

 

“如果你想要了解并总结推特上人们对于某一个政客的意见,可你却完全忽视非裔美国人说的话,亦或是年轻人发表的见解,其结果必然很不公平,这很糟糕,”O’Connor 这样说道。

 

这两人同时也研究了几款基于机器学习的应用程序来解析某一特定文本的涵义和情感倾向。之后他们发现这些系统也有着一些问题。“如果你从某个公司购买了情绪解析器,可你却连它里面隐藏了怎样的歧视都不知道。”O’Connor 质疑道,“我们并没有关于这些方面足够的审计资源或是知识储备。”

 

他说这个问题可以扩散到任何使用语言的系统,包括搜索引擎。

 

关于 AI 算法里的不公平性正在随着AI概念的火热而获得更多的关注。一个叫做 Compass 的专有算法就被认为具有一些极具社会争议的隐形偏见。Compass 是一个协助监狱官决定监狱里的囚犯是否可以获得假释的系统。虽然这一套算法的具体工作流程还未对外公布,但是已经有研究表明它的运行结果对黑人囚犯具有歧视。

 

 

一些专家甚至说这个问题或许比大多数人知道的都要更为严重。它已经开始影响到了一系列经济,医疗和教育里的决策。

 

 

麻省大学的研究者在一个工作坊中展示了他们已经进行的对于AI歧视现象的现有研究成果。这一活动,Fairness and Transparency in Machine Learning,是一个更大的数据科学大会的组成部分。但是到2018年,也就是明年,这一会议就会成为一个独立的个体。Solon Barocas,康奈尔大学的助理教授和此次会议的主办人之一,认为这个领域正在不断成长。因为越来越多的研究者已经意识到并且开始着手分析AI系统的歧视问题。

 

 

Sharad Goel,一位在斯坦福大学教授算法公平性和公公政策的助理教授,认为这一问题在大多数时候都并不能被大众一目了然地了解到。他认为称呼算法有着“(下意识的)偏见”是对整个问题的过分简化。

 

 

因为,实际上,这整个过程很有可能是人工主体基于社会现状而做出的精确判断,而不是在无意识或者下意识中决定的。“在决定我们想要算法做什么之前,我们最好先描述一下这个算法正在做什么,以及它这么做的原因。”Goel 教授这样总结道。