人工智能与移动端APP的完美结合——现在盲人也可以玩转Facebook

马特·金曾经在2009年开通过一个Facebook账户。因为他的妻子是Facebook的活跃用户,而他很多朋友日常也通过Facebook交流联系,所以金也很想加入。

 

然而花费整整一上午的时间,他也没搞明白怎么转到他的朋友列表和浏览他们的主页。金后来说,“那简直比工作还难,而且让我感觉很不好。”

 

金从小就视力严重受损,直到在大学时完全失明。他第一次试用Facebook只感到沮丧,以及,更大的孤独感。

 

马特·金(穿红色上衣的男子)

 

所以去年,在IBM工作25年后,金加入了Facebook的“无障碍小组”(Accessibility Team)。他牢牢记得自己曾经使用Facebook时巨大的沮丧和无力感,因而致力于帮助Facebook研发一项应用于其IOS平台APP的新技术,可以帮助数以百万计的视力受损者和盲人大幅提升Facebook的使用体验。

 

这项技术叫做“自动转换文本”技术(Automatic Alternative Text,下文简称AAT),于2016年4月份推出。Facebook用了10个月的时间和数百万个实例才开发出这项技术,他们使用类神经网络来模拟人的大脑活动,学习识别图片内容。在人工智能的帮助下,AAT可以对用户查看的每一张图片自动生成一段描述。如果用户开启了IOS的屏幕阅读器,他们就可以听到一系列的图片关键词朗读,从而让盲人或视力受损者“看到”和感知图片。

 

一张应用了AAT技术的照片,屏幕阅读器会读出上面的文字:“图片包括:两个人,微笑,墨镜,蓝天,室外和水。”

 

全世界有大约2.85亿视力受损者和盲人,Facebook的新技术可以大幅度提升改变他们使用社交网站的体验(假如他们都使用Facebook的话)。

 

AAT技术说出图片内容:“这幅图片中有两个人。”

 

目前Facebook的APP可以识别一些基本的大类,比如汽车、飞机、树木、湖水和人的笑脸等。目前他们希望系统的识别有很高的准确度,以后则会使AAT能识别的种类更加精细化,比如,认出一辆车的具体牌子和型号等。

 

金在Facebook的纽约办公楼里展示了这项新技术。他打开一张图片,内容是明媚的蓝天下一排高大的树木,标题则是“和我的大学同学们在我最喜欢的地方——美妙的周末来了!”立刻,金就听到了手机读出的一句话:“图片是在户外,内有蓝天和大树。”当他下拉到另一张标题为“周日晚炫耀一发”的披萨图片时,他听到“图片包含披萨。”

 

对于视力正常的人来说,这项技术听起来也许很初级,仅仅能描述图片的基本内容。但是金提醒说,没有这项技术我们是任何信息都无法获得的。

 

在此之前,Facebook的APP在开启了屏幕阅读功能时就能语音告知每条信息的发送者姓名,发送时间和标题,然而类似于“周日晚炫耀一发”这种标题是无法告知视力受损者和盲人图片的具体内容的,他们在AAT技术出现之前只能依靠想象力了。这项技术在帮助他们使用Facebook方面迈出实质性的一大步。

 

开发AAT技术的无障碍小组成立于五年前,目标是帮助Facebook的用户获得更好的使用体验,其中也包括研发针对残障用户的专门技术和产品。

 

这个小组的组长叫杰夫·维兰德,曾就读医学院预科,他提出成立无障碍小组,利用最新的科技发展帮助残障人士使用社交产品。因为根据他得到的反馈,残障人士,尤其是盲人,抱怨说Facebook没有考虑到他们的社交需求。

 


无障碍小组成员(左边是金,中间是维兰德)

 

“残疾会使人更加被孤立。”维兰德说,他希望AAT技术,以及其它他们正在研发的技术,都可以帮助那些残障用户建立起社会联接感。同时他们也希望以后这些技术可以用于其他平台和产品,而非仅限于Facebook。

 

2014年,Facebook建立了一个公共资源,叫做“无障碍工具箱”,内容包括如何开发无障碍项目的指导。另外Facebook用来开发网络和移动端产品的开源前端框架React,也支持无障碍技术研发。

 

目前包括AAT在内的技术仍在持续研发中,金总结说,“我们最终目的是建立一个更具包容性的平台和建设更美好的世界。”

 

希望更多的社交应用可以考虑到残障用户的需要

 

本文参考 Business Insider