30年前的“疯子”，30年后的“大师”

 2019年3月27日，ACM（国际计算机学会）宣布，有“深度学习三巨头”之称的Yoshua Bengio、Geoffrey Hinton、Yann LeCun共同获得了2018年的图灵奖，这是图灵奖1966年建立以来少有的一年颁奖给三位获奖者。ACM同时宣布，将于2019年6月15日在旧金山举行年度颁奖晚宴，届时正式给获奖者颁奖，奖金100万美元。

 

 

他们是谁？

约书亚·本希奥（Yoshua Bengio），在加拿大麦吉尔大学取得计算机博士学位。现为加拿大蒙特利尔大学教授、加拿大数据定价中心主任、蒙特利尔学习算法研究中心科学主任、加拿大先进研究院主任。同时，他与杨立昆一起担任加拿大先进研究院机器与大脑学习项目的主管。他创建了目前世界上最大的深度学习研究中心——蒙特利尔学习算法研究中心，使蒙特利尔成为世界上人工智能研究最为活跃的地区之一，引来大批公司和研究室入驻。他是加拿大皇家学院（RSC）及加拿大高等研究院（CIFAR）的院士，2017年还被授予“加拿大总督功勋奖”。

杰弗里·欣顿（GeofferyHinton），在英国爱丁堡大学获得人工智能博士学位。现任谷歌副总裁、工程研究员、多伦多人工智能矢量研究所首席科学顾问、多伦多大学名誉教授。他是加拿大先进研究院神经计算和自适应项目的创始人，还获得了包括加拿大最高荣誉勋章、英国皇家学会成员、美国工程院外籍院士、人工智能国际联合会杰出研究奖、IEEE詹姆斯·克拉克·麦克斯韦金奖等一系列荣誉。2017 年被彭博社评为改变全球商业格局的 50 人之一。

杨立昆（Yann LeCun），在法国皮埃尔和玛丽·居里大学获得计算机科学博士学位。现任纽约大学柯朗数学科学研究所 Silver 冠名教授、Facebook 公司人工智能首席科学家、副总裁。他获得了包括美国工程院院士、IEEE神经网络先锋奖等一系列荣誉。他还是纽约大学数据科学中心的创始人，与约书亚·本希奥一起担任加拿大先进研究院机器与大脑学习项目的主管。

 

 

图灵奖（ACM A.M. Turing Award）由美国计算机协会于 1966 年设立，专门奖励对计算机事业作出重要贡献的个人，有着“计算领域的诺贝尔奖”的美誉。其名称源自计算机科学先驱、英国科学家、曼彻斯特大学教授艾伦·图灵（A.M. Turing），奖金高达 100 万美元，由谷歌公司提供赞助。图灵奖大部分情况下只颁给一位获奖人，两位或三位科学家同时获奖的情况较为少见。2000 年图灵奖得主、中国科学院院士姚期智是目前唯一一位获得该奖项的中国科学家。

 

 

他们经历了什么？

2016年，AlphaGo掀起了全球人工智能热潮，如今，人工智能陆续取代人类岗位，人工智能纷纷进入中小学课堂，各国人工智能发展计划先后发布，人类开始从信息时代，步入智能时代……

 

 

1956年，人工智能概念被达特茅斯会议首次提出，上个世纪 50 年代，计算机在西洋跳棋上击败了人类，还可以解决代数题，在世间引起了巨大轰动。那时研究者们乐观地认为，在自己有生之年就可以看到拥有人类智力水准的机器出现。

1967 年，麻省理工学院的马文·明斯基（Marvin Minsky）甚至宣称，人工智能问题将在一代人的时间内被彻底解决（明斯基教授于 2016 年 1 月去世）。然而，当时的算法和计算能力都无法承担重任，美好的希望就此破灭。

 

 

从 2005 年开始，人工智能的形式出现了巨大变革。这一切源于“深度学习”（Deep Learning）技术的出现，这一方法原本指的是从脑科学中汲取灵感以制造智能机器，但后来已经自成体系，让计算机视觉、语音识别、自然语言处理和机器人领域重新焕发生机。

2011 年，首个语音识别产品面世，也就是大家非常熟悉的 Siri。不久之后，用于识别图像内容的应用也成熟了起来，该功能现已被整合进了Google Photos 的图片搜索引擎。

 

 

2016 年 3 月，神经网络模型 AlphaGo 击败了世界顶级围棋选手李世石的新闻占据了各大媒体的首页。2017年，AlphaGo 又相继战胜了柯洁等多位人类棋手。

如今，机器在其他领域超越人类的步伐也在加快，而且不局限于竞技游戏。最新的深度学习算法可以从磁共振图像中准确检测出心脏是否衰竭，准确度甚至能和心脏病专家媲美。

 

 

1972年，25岁的Hinton在爱丁堡大学攻读博士学位，并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。

1980年代LeCun在巴黎读大学时，计算机就是瞎子，无法识别图片中的内容，也无法判断摄像头前方出现了什么。但就在那个时候，LeCun偶然涉足了探索人工智能领域的一种方法：“智能神经网络”。这并不是一条新路，而且并不受待见。但在攻读博士学位时，LeCun顶着一片质疑声专注于研究神经网络。“我只是不相信他们所说的。”他说。

1985年，Bengio在加拿大麦吉尔大学时，根本没人教神经网络。他学的是经典的、符号化的人工智能，所以，想做神经网络，必须先说服教授来指导他。

在远离追捧与聚光灯的地方，Geoffrey Hinton、Yann LeCun和Yoshua Bengio潜心研究了几十年，把一个不被看好的、被边缘化的想法，变成了计算机科学中最热门的想法。现如今，他们所倡导的技术已经成为了每家大型科技公司的未来战略的核心。谷歌测试中的软件得以读取医学扫描，特斯拉的自动驾驶仪得以读取道路标志，脸书得以自动删除一些恶毒言论，都是得益于他们三人所创造的技术。

“当然，我们一直相信它，也一直在研究它。”Hinton说。“从90年代中期到21世纪的最初几年，除了少数像我们这样疯狂的人，基本上没有人研究神经网络。神经网络终有一天会回来——至少有很小一撮人心里是这么想的。”LeCun说。

 

 

他们都做了什么？

这三位被业内人士称为“当代人工智能教父”的科学家是深度神经网络（Deep Neural Network）的开创者，这项技术已经成为计算科学的关键部分，为深度学习（Deep Learning）算法的发展和应用奠定了基础——这正是现在计算机视觉（CV）、语音识别（SR）、自然语言处理（NLP）和机器人研发等领域展现出惊人活力、掀起科技创业热潮的重要原因。

大脑的计算单元是一些叫做神经元的细胞，每个神经元可以通过叫做突触间隙的小缝隙向其他神经元发放信号，神经元跨越间隙传输信号的效率叫做突触强度。在神经元“学习”的过程中，它的突触强度会增加，也就是说当它受到电信号的刺激时，它更有可能向邻近神经元传输信号。最终，计算机科学家们以大脑为模仿对象，用软件或硬件实现了虚拟神经元，开发出了人工神经网络。

神经网络是人工智能最古老的方法之一，当这个领域在20世纪50年代末刚起步时就已经建立起来了。研究人员将神经科学家创造的神经元的简单模型改造成数学网络，这种数学网络可以通过让一系列人工的“神经元”对数据进行过滤，来学习如何对数据进行分类。

 

 

杰弗里·欣顿（Geoffery Hinton）最开始读的是剑桥大学物理和化学专业，但只上了一个月就转到了建筑专业，结果只在建筑系待了一天就受不了，重新注册了物理和生理学，后来发现物理中的数学太难了，于是他又转向了哲学，花一年时间学了两年的课程。虽然只有短短一年，但却是非常有用的一年，因为他对哲学产生了非常强的抗体：“我想知道大脑是如何工作的”。为了弄明白大脑的工作原理，Hinton转而研究心理学，结果却发现“心理学家对此毫无头绪”。

1973年Hinton进入爱丁堡大学研究生院，师从Christopher Longuet-Higgins学习人工智能。但当时正值1970年代的人工智能寒冬出现，深度学习和AI都受到了学界轻视。并且，Christopher是著名的理论化学家和认知科学家，桃李满天下，曾培养出诺贝尔奖获得者，但Hinton与导师的理念不同：导师坚持传统的逻辑人工智能理念，Hinton则坚信基于神经元理论的模拟神经元，坚信神经网络一定是未来的发展方向。

“我的毕业生涯充满了坎坷，每周我们都会有一场争吵。”Hinton后来回忆，他一直在和导师做“交易”：“让我再做六个月的神经网络，我会向你证明它们是有效的。”但在六个月结束的时候，Hinton又说：再给我六个月，之后又说，“再给我五年时间”。进入八十年代，Hinton真的成功了。1986年，Hinton等人完成著名的论文Experiments on Learning by Back Propagation，证明在神经网络中的反向传播可以提供“有趣的”分布表示，提出了影响后世人工智能的新方法。不过，当时既没有足够的数据，也没有足够的算力，神经网络无法进行大规模训练，业界对Hinton的神经网络依旧不感兴趣。Hinton参加学术会议时，经常坐在房间的最角落里，也得不到当时学界大咖的重视。

 

 

杨立昆（Yann LeCun）是Hinton的博士后学生，也是神经网络的坚定信仰者。1989年，LeCun在贝尔实验室提供了第一次反向传播的实际演示。他将卷积神经网络与反向传播相结合阅读“手写”数字，后来卷积神经网络大规模应用，并在20世纪90年代末期处理了美国10％到20％支票的识别。

LeCun在贝尔实验室是组长，他的组员就包括今年获图灵奖的另一位大神约书亚·本希奥（Yoshua Bengio）。Bengio虽然不是Hinton的直系弟子，但也是被认为是和Hinton、LeCun一起推动深度学习浪潮的三位旗手，他开创了神经网络的语言模型先河。

2015年，GeoffreyHinton、Yann LeCun、Yoshua Bengio这三位深度学习巨头曾在Nature上共同发表一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。非常巧合的是，早在2015年，知乎上就出现问题：Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？（问题地址：https://www.zhihu.com/question/33911668）当时不少网友认为他们三人虽然贡献很大，但是不能得图灵奖。于是今天纷纷跑到问题下面自行打脸。

2017年，Hinton跟他在谷歌大脑两个同事发表了《Dynamic Routing Between Capsules》，提出新的神经网络模型CapsuleNetwork（胶囊网络），在特定任务上比传统的卷积神经网络取得了更好的效果。Hinton认为，Capsule网络最终将超越视觉，推广到更广阔的应用场景，尽管现在很多人还存在质疑，但他确信现在就像5年前很多人对神经网络存疑一样。

 

 

京东集团副总裁、加拿大Simon Fraser大学计算科学学院教授、统计与精算系教授、加拿大一级研究讲座教授、ACM Fellow、IEEE Fellow、ACM SIGKDD Chair裴健教授说，对这三位大神的故事，有三点感想，值得自己学习，也和同行共勉：

首先，这三位长期聚精会神，荣辱不惊，是真正的学者。特别是Hinton老先生，他自八十年代初就开始对这个几度沉浮的领域作出了突出贡献。三十多年他集中精力研究一个方向，不分心，不居功自傲，不因以往成就好为人师。这种严谨治学的精神非常值得我们后辈学习。我个人感觉，ACM在评大至图灵奖小至Fellow上学术质量至上，严谨严格。

其次，虽然三位都出身学术界，但为了推进深度学习的应用，他们不同程度上游走于工业界。他们给工业界带来的重要贡献不但是用深度学习方法解决了一批实际问题，更重要的是在工业研发上推广科学治学原则和方法。这种真正在科学方法论上的产学研结合培养了一大批既具有扎实学术功底和研究方法又具有广阔的工业界视野和实际问题思维的新型年轻人才。可以这么说，深度学习的影响不但止在技术上，还包括对学术界和工业界协作方式以及未来人才培养模式的革新。

最后，他们的获奖说明了一个鼓励持续性独立研究的环境非常重要。在深度学习不太受待见的漫长日子里，加拿大国家研究基金慷慨地支持了这几位为代表的一批深度神经网路研究者的持续深入研究，使得这个星星之火最终成就燎原之势。我本身在加拿大学习工作多年，非常喜欢那种平等平淡的研究环境，能使学者静心思考。尽管深度学习大热，加拿大学术界也是持比较理性的态度。Bengio这么大的名气，也是2017年才评上加拿大皇家院士的。

 

 

ACM主席Cherri M.Pancake说，人工智能的发展以及人们对它的兴趣，在很大程度上要归功于 Bengio、Bengio 和 LeCun 为之奠定基础的深度学习的最新进展。这些技术被数十亿人使用。任何口袋里有智能手机的人都能实实在在地体验到自然语言处理和计算机视觉方面的进步，这在10 年前是不可能的。除了我们每天使用的产品，深度学习的新进展也为医学、天文学、材料科学等领域的科学家们提供了强大的新工具”。

 

 

谷歌高级研究员、谷歌AI高级副总裁JeffDean表示：“这一进步的核心是今年的图灵奖获得者Yoshua Bengio、Geoffrey Hinton和Yann LeCun 在30多年前开发的基础技术。通过大幅提高计算机理解世界的能力，深度神经网络不仅改变了计算领域，而且几乎改变了科学和人类努力的每一个领域。”

 

 

Geoffrey Hinton，1947年生，现年72岁，谷歌的副总裁和工程师，也是AI研究机构Vector Institute的首席科学顾问和多伦多大学的名誉教授。在ACM颁奖辞博文中，主要提到了Hinton的三个贡献，如果你做过AI项目，肯定不会陌生，它们分别是：

反向传播（Backpropagation）：1986年，在Learning Internal Representations byError Propagation这篇论文里，Hinton证明了，反向传播能让神经网络发现自己内部的数据表征，这样便可以处理以往无法解决的问题。如今，反向传播已经是神经网络的标准操作，Hinton也有了“反向传播之父”的名号。

玻尔兹曼机（Boltzmann Machines）：1983年，Hinton和同伴一起发明了玻尔兹曼机，那是最早能够学习神经元内部表征的网络之一：那些表征既不来自输入，也不来自输出。

改进卷积神经网络：2012年，Hinton和学生们一起，利用线性整流神经元和dropout 正则化改进了卷积神经网络。在ImageNet比赛上，他们几乎把物体识别的错误率降到了从前的一半，让计算机视觉领域焕然一新。

一个有趣的轶事是，Hinton的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者，因“布尔检索“而闻名于世。

 

 

Yann LeCun，1960年生，58岁，现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父，是他最为人熟知的名号。ACM列举的成就，也是从这里开始。

卷积神经网络 (CNN) ：1989年，在AT&T贝尔实验室工作的LeCun，以反向传播为基础，发表了一项研究，叫做“将反向传播用到手写邮编的识别上”。CNN的第一次实现，就是在这里诞生。如今，CNN已经成为深度学习的基础技术了，不止在计算机视觉领域，在语音合成、语音识别这些应用中，也是行业标准操作。

反向传播雏形：1985年，Hinton还没有成为反向传播之父的时候，LeCun在巴黎六大读博期间，发表过反向传播的一个早期版本，根据变分原理给出了一个简单的推导过程。他用两种加速学习的方法，让反向传播变得更快了。

拓展了神经网络的视野：LeCun不止把神经网络用在图像识别上，还解锁了许多其他任务。他提出的一些概念，如今已经成了AI领域的基础。比如，在图像识别上，他研究了神经网络怎样学习分层特征表示，这也成为了如今许多识别任务中常用的概念。另外，他和同伴Léon Bottou一起提出，学习系统可以由复杂的神经网络构成。在这样的系统里，反向传播是靠自动微分来实现。他们还提出，深度学习架构可以对结构化数据 (比如图形) ，进行处理。

LeCun博士毕业后，只在Hinton的实验室做了一年博士后，就进入了工业界。不过，他在2003年成为了纽约大学的教授，还在2012年创办了纽大数据科学中心。即便加入Facebook之后，也继续在纽大兼职。

 

 

Yoshua Bengio，1964年生，55岁，现在是蒙特利尔大学计算机科学与运筹学系教授。同样，ACM也总结了Bengio的三个主要贡献。

序列的概率模型：上世纪90年代，Bengio提出了序列的概率模型。他把神经网络和概率模型（例如隐马尔可夫模型）相结合，用新技术识别手写的支票。外界认为，这是20世纪90年代神经网络的巅峰之作，当下语音识别技术就是在它的基础上扩展的。

高维词汇嵌入和注意机制：Bengio参与发表了一篇里程碑式的论文，A Neural Probabilistic Language Model（神经概率语言模型），把高维词嵌入作为词义的表征。这对NLP研究（如翻译、问答和视觉问答等任务）产生了深远的影响。

生成对抗网络（GAN）：2014年，Bengio与Ian Goodfellow一同发表的生成对抗网络 (GAN) ，引发了计算机视觉和图形学的革命。

据统计，Yoshua Bengio发表的300多篇学术文章的累计引用次数已经超过137000次。作为教授，Bengio曾经和IanGoodfellow、Aaron Courville等业界大神一起写出了Deep Learning，成为人手一本的“AI圣经”，不少人将这本书亲切称之为“花书”。除了学术界，Bengio也活跃在产业界。曾经，Bengio联合Jean-François Gagné创立了Element AI，为那些想给自家业务寻找机器学习解决方案的公司，找到AI领域的专家。

 

 

Hinton出生于一个学术背景显赫的世家。在他长大成人的过程中，母亲给过他两种选择：“做学者，或是做失败者。”7岁就已经意识到要读博的Hinton说，自己一辈子都在压抑、沮丧中挣扎。但他投入研究的神经网络，真真是经历过漫长而幽暗的岁月。除了面对学术上的不认可，他的两任妻子先后罹患了癌症。而他自己也深受背痛困扰。2003年，Hinton在多伦多，被CIFAR招揽过去启动一个神经计算项目。于是，他们聚到了一起，决定努力奋斗，重新点燃这个领域的热情。

一直到大约2009年前后，计算机最终有了足够的算力挖掘大型数据库，从此神经网络开始在语音和图像识别方面战胜基于逻辑的系统。工业界很快注意到变化的发生，微软、Facebook、谷歌等科技巨头开始在这个领域投资。

Bengio评价Hinton时说“他有时可以穿过黑暗看清事物。但他的个人生活非常不容易。他也有他的黑暗时代”。在黑暗中穿行的日子里，他始终坚持一个信念：其他人都错了。

在去年一次彭博社的采访中，Hinton说：未来是很难预测的。当你开始试图预测未来20年会发生什么事情，你基本就错得离谱了。但也有一些东西是可以预测的，比如人工智能技术将会改变一切。