加入收藏 | 设为首页 | 会员中心 | 我要投稿 应用网_丽江站长网 (http://www.0888zz.com/)- 科技、建站、数据工具、云上网络、机器学习!
当前位置: 首页 > 站长资讯 > 动态 > 正文

人类群星闪耀时 | Facebook人工智能负责人Yann LeCun:让深度学习摆脱束缚

发布时间:2016-03-16 21:15:13 所属栏目:动态 来源:雷锋网
导读:人工智能经历了几次低潮时期,这些灰暗时光被称作“AI寒冬”。

2000s中期,我们中的许多人参与到了深度学习的复兴运动中,包括Geoff Hinton、Yoshua Bengio和我自己——这就是所谓的“深度学习团体”——还有Andrew Ng,从此使用无监督学习而非有监督学习的理念开始兴起。无监督学习可以帮助特定的深度网络进行“预训练”。我们在这方面取得了不少成果,但最终能够应用于实践的还是过去那些能与卷积网络相结合的出色的有监督学习,我们在20年前(1980s)所做的事情。

但从研究的角度来看,我们一直感兴趣的是如何恰当地做好无监督学习。我们现在已经拥有了可以实用的无监督技术,但问题在于,我们仅需要收集更多数据,再配合有监督学习就能击败它。这就是为什么在现阶段的产业中,深度学习的应用基本上都是有监督的。但将来不会再是这种方式。

从本质上来说,在无监督学习方面,大脑远好于我们的模型,这意味着我们的人工智能学习系统缺失了许多生物机理学习的基本原则。

六、Facebook的深度学习

Spectrum:Facebook有兴趣建立一个人工智能实验室的原因有哪些?

LeCun:Facebook的宗旨是连接人与人(connect people)。这更意味着连接人与数字世界。2013年底,Facebook即将迎来十周年诞辰,MarkZuckerberg决定创建Facebook人工智能实验室,就是我领导的那个部门。公司在考虑未来十年间连接人与人意味着什么,然后意识到人工智能将发挥关键作用。

每天Facebook能向每个人展示2000条内容:帖子、图片和视频等。但没人有时间看这么多内容。因此Facebook必须自动筛选100到150项用户想看或需要看的内容。要深谙此道必须先理解人们,包括他们的口味、兴趣、关系、需要,甚至是生活目标等。也需要理解内容,知道帖子或者评论在讲些什么,图片和视频包含什么内容。只有这样,才能把最相关的内容筛选出来并呈现在用户面前。

在某种意义上,出色地完成这项工作是一个“彻头彻尾的人工智能”问题:这需要理解人、情绪、文化和艺术。我们在Facebook人工智能实验室的大部分工作都是聚焦于制定新理论、新原则、新方法和新系统,以让机器理解图片、视频和语言,随后对其进行推理。

Spectrum:我们刚刚谈及炒作,我自己也对炒作有些微辞。Facebook最近公布了一个人脸识别算法DeepFace,很多报道称人脸识别技术的准确性已经接近于人。但那些结果难道不是在精心策划的数据库中跑出来的么?如果在互联网上遇到随机的图片,这个系统报告还能取得同样的成功么?

LeCun:相比于人类,系统对图片质量更为敏感,这是肯定的。人们能通过不同的面部胡须等特征识别出众多不同构造的人脸,计算机系统在这方面鲜有优势。但是系统可以在非常大的人类集合中识别出某个人,这个集合会远远超出人类的处理能力。

Spectrum:浏览网上的图片并找出譬如说奥巴马是否出现在图片里,DeepFace能否做的比我强?

LeCun:毫无疑问它将会更快。

Spectrum:它会更准确吗?

LeCun:可能不会,但是它能从数亿人中发现某人,我可做不到。

Spectrum:它能像研究中那样,达到97.25%的准确率么?

LeCun:没有在数据库上进行测试是很难说出一个具体数字的,这完全取决于数据的性质,如果图片库里有数亿张脸,那精确性就远不及97.25%。

Spectrum:这里有个问题似乎是计算机研究者们使用的某些行话和外行们的理解有着不同含义。当研究人员论及“准确率”,他们实际上可能说的是精选的数据集得出的结果。而外行们可能认为,计算机识别图片就像我们日常生活中随意看到的图片一样,但是结果对计算机系统的要求要比它们新闻报道中的表现更为苛刻。

LeCun:是的。我们也进行许多基准测试,像其他人一样利用户外脸部检测数据库等,当然也将我们的方法和别人做比较。当然,我们也有内部数据库。

Spectrum:所以一般而言,面对你们随意从网上找的图片,计算机在人脸识别上的表现有多接近于人?

LeCun:相当接近。

Spectrum:能给个数字么?

LeCun:不,不行,情景不一样(结果也不一样)。

Spectrum:在图片识别之外的领域,深度学习表现如何,尤其是当涉及到诸如自然语言等通用智能相关问题的时候?

LeCun:我们在Facebook的很大一部分工作都是集中于此。我们如何将深度学习的优势,与其通过学习描绘世界的能力、从短暂的信号中积累知识的能力(伴随着语言出现)、推理能力、与当前深度学习系统采取不同方式的知识存储能力结合起来?在当前深度学习系统下,就像学习一项运动技能,我们训练它们的方式类似于我们自学骑自行车。你学到了一项技能,但实际上却不涉及大量事实记忆或知识。

但你学的其他一些事情,就必须要求你记住事实,你必须记住并储存一些东西。在Facebook、Google和其他许多地方,我们做的大量工作是一边建立神经网络,一边建立一个独立的存储器模块,这能被运用于自然语言理解等领域。

我们开始看到,经由存储器模块强化的深度学习帮助自然语言处理取得了令人印象深刻的结果。该系统基于这样的理念,即用连续向量描述词语和句子,经由深层架构的多层级完成对这些向量的转化,并将它们存储在一种联合型存储器里。这对问答和语言翻译都非常有效。这种模式的一个范例是存储网络(Memory Network),这个模型是Facebook科学家Jason Weston、Sumit Chopra和 Antoine Bordes最近提出的。Google/Deep Mind的科学家也提出了一个相关概念“神经图灵机”(Neural Turing Machine)。

Spectrum:所以你不认为深度学习将会成为解锁通用人工智能的那把钥匙?

LeCun:它将是解决方案中的一部分。在一定程度上,这一解决方案看上去像一张巨大而复杂的神经网络。但这与人们迄今在文献中看到的有很大不同。我说的这些东西,你已经可以开始看到一些相关论文了。许多人正在研究所谓的“周期神经网络”(recurrent neural nets)。在这些神经网络中,输出被反馈到输入端,这样你就能形成一个推理链。你可以借此来处序列信号,像语音、音频、视频和语言,初步结果相当不错。深度学习的下一个前沿课题是自然语言理解。

Spectrum:如果一切顺利,我们可以期待机器很快能做到哪些它们现在做不到的事情吗?

LeCun:你或许能看到更好的语音识别系统,但在某种程度上它们是隐藏起来的。你的数字伴侣将会变得更完善;将会有更好的问答和对话系统;你可以和你的计算机进行对话;你可以向计算机发问而它会从知识库中为你寻找答案;机器翻译将会更精准;你还能看到自动驾驶汽车和更聪明的机器人,自动驾驶汽车将会使用卷积网络。

七、深度学习能让机器获得常识吗?

(编辑:应用网_丽江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读