行业资讯
2019 年，最值得回顾的十大 AI 学术观点
如果说去年是 AI 技术争相试水落地的一年，那今年则更多地是回归 AI 技术本身进行反思和探索的一年。
这一年，「深度学习是否将迎来寒冬」、「AI 该如何实现可解释性」等议题频频成为 AI 社区的「座上宾」。
这一年，AI 界开始呼吁从深度学习以外的方法上找新的突破口，例如说结合推理等传统 AI 方法、基础数学以及类脑等其他跨学科的方法。
这一年，「多模态」成为 AI 界的一个热门研究方向，做 CV 的研究者开始关注 NLP，而做 NLP 的研究者开始在研究中引入 CV，多个研究领域走向融合已然势不可挡。
今天是 2019 年的最后一天，AI 科技评论挑选了今年 AI 学术界最值得回顾的十大语录，以期大家能够从中获得些许的启发，为明天即将到来的又一年的新征程做好准备！
1 推理、抽象推导这些人类最后才学会做的事情，也将会是神经网络最难学会的事情。
——Geoffery Hinton，《和 Geoffery Hinton 面对面聊聊》
如果把人类和神经网络相比，那么神经网络发展至今，在视觉信号处理、语音信号处理这些人类的感知任务上确实取得了很大进展，但运动控制方面的表现就没那么好，现在的最先进的神经网络才刚刚能追赶上传统的控制方法，更别提和人类相比了，人类的运动控制能力非常高，也非常轻松，很显然我们的大脑就是为运动控制设计的。
神经网络最终有一天是能够赶超人类的，不过现在只取得了很小的胜利而已。并且，推理、抽象推导这些人类最后才学会做的事情，也将会是神经网络最难学会的事情。
2 作为一个科学家，对我来说真正重要的是还需要探索哪些新方向才能解决问题。谁对谁错、谁站了谁的队这种事情我并不关心。
——Yoshua Bengio，《深度学习瓶颈到来时，Yoshua Bengio 有什么新打算》
很多面向大众的信息渠道都不理解学术人员做科研的方式，不管是针对 AI 领域还是其他学科，而实际上，他们研究和理解当前的理论和方法的不足之处，是为了能探索智力工具之外的更大的空间。
直到今天，AI 系统能达到的智慧程度都没法和一个 2 岁的小孩相提并论。不过，我们的算法在感知任务里可能能达到一些更低级的动物的水平，并且现在也有越来越多的工具可以帮助一个系统探索它所在的环境，所以这些系统的智力水平也在慢慢地逐步提升。
Bengio 认为，未来可以尝试在过去这些年设计的深度学习工具的基础上实现推理、规划、想象力、归因这些功能，以此实现 AI 系统高层次的认知。
3 大家不能指望人工智能一出来就「毕其功于一役」。它永远在路上，这就是人工智能的魅力所在。
——张钹，《张钹院士：人工智能的魅力就是它永远在路上》
人工智能的第一代模型，可解释、鲁棒性很强，然而也有很大局限性，即很难准确表达人类的知识经验，这也是产生的后来人工智能冬天的根本原因。
到了第二代人工智能，一个最重要的成果就是深度学习。然而深度学习并非 AI 的通用机，需要满足具有丰富的数据或知识，完全信息，确定性信息，静态，单领域和单任务这五个条件，距离真正的人工智能还有很远的距离。
因此下一步就要迈向第三代人工智能，针对第一、二代人工智能的两个主要的局限性，建立可解释、鲁棒的人工智能理论，发展安全、可信、可用的人工智能技术，促进人工智能的创新应用。
4 曾经我们认为深度学习是一个「小黑屋」，里面只有深度神经网络。现在我们打开门，发现了里面有深度森林，也许未来还能发现更多别的东西。
——周志华，《周志华 IJCAI2019 演讲：「深」为什么重要，以及还有什么深的网络》
虽然在今天深度神经网络已经这么的流行、这么的成功，但是其实我们可以看到在很多的任务上，性能最好的不见得完全是深度神经网络，并且已经有数学证明，一个模型不可能在所有任务中都得到最好的表现。所以我们有必要探索神经网络之外的深度模型。
深度森林便是其中的一个方向。虽然目前我们还不知道深度森林可以发展到什么程度，因为我们还构建不出非常深的模型，但即便未来我们构建出很深的模型了、而且发现它的表现没有我们预想的那么好，我们的研究也仍然是有价值的。
因为深度森林的构建过程为这几个猜测提供了证据：当你用一个模型就可以做到逐层信号处理、特征变换、足够的模型复杂度的时候，你就可以享受到深度模型的好处。这也就是深度森林比之前的各种森林都有更好的表现的原因。它也带给我们新的启示：我们是否有可能设计出同时兼顾到这几点的新的模型？
5 从本质上来看，人工智能、知识工程以及数学在解决问题时所使用的基本方法论其实是具有统一性的。
——徐宗本，《徐宗本院士：数学与 AI 的关系是「融通共进」》
在欣喜人工智能变成可用技术的同时，我们必须冷静地看到，目前我们还处于一个「用多少人工换来多少智能」的人工智能阶段，距离人工智能的真正产业化，真正能把人工智能技术用得明白、也用得好，仍然还有很长一段路要走。
对于人工智能未来的发展方向，徐宗本表示，我们不妨以实现共产主义来做类比：人工智能的共产主义目标是自主智能，而在实现共产主义之前我们必须先走过社会主义初级阶段——机器学习自动化便是社会主义初级阶段目标。所以说，人工智能的发展轨迹应该是从人工走向自动化，再迈向自主智能。
要想真正实现机器的自动化，必须首先解决五个数学领域的基础问题：大数据的统计学基础、大数据计算基础算法、深度学习的数学原理、非常规约束下的输运问题以及学习方法论的建模与函数空间上的学习理论。
6 未来，深度学习和语言学研究应该互相帮助，多模态信息处理也大有可为。
——周明，《周明：自然语言处理的未来之路 》
基于深度学习的 NLP 技术已经走过了词嵌入、句子嵌入、带有注意力的编解码器模型、Transformer（完全使用注意力）的这四个技术节点，预训练模型+针对具体任务的精细调节也已经成为了当前 NLP 实践的新范式。
这种新范式也给我们带来了一个新的启发：我们可以针对大规模的语料，提前训练好一个模型，这个模型既代表了语言的结构信息，也有可能代表了所在领域甚至常识的信息，只不过我们看不懂。加上我们未来的预定的任务，这个任务只有很小的训练样本，把通过大训练样本得到的预训练模型，做到小训练样本上，效果就得到了非常好的提升。
不过，未来的 NLP 不会只是基于规则的模型，同样不会只是基于 DNN 的模型；它应当是可解释的、有知识的、有道德的、有经济效益的、终生学习的模型。未来，深度学习和语言学研究应该互相帮助，多模态信息处理也大有可为。
7 什么是真正的智能？我想目前还没有定论，而且我们对我们自己的智能还没有足够的了解。
——张正友，《腾讯 AI Lab & Robotics X 主任张正友博士：计算机视觉的三生三世》
实际上，现在的人工智能都还只是机器学习：从大量的标注数据去学习一个映射。
那什么是真正的智能？正如瑞士认知科学家 Jean Piaget 说的，智能是当你不知道如何做的时候你用的东西。也就是说，当你无法用你学到的东西或天赋去面对时，你动用的东西就是智能。
如何去实现有智能的系统呢？张正友表示：可能有很多条路，但他认为一条很重要的路是需要把载体考虑进去，做有载体的智能，也就是机器人。
基于此，他还提出了 A2G 理论：A 是 AI，即机器人必须能看能听能说能思考，B 是 Body 本体，C 是 Control 控制，ABC 组成了机器人的基础能力；D 是 Developmental Learning，发育学习，E 是 EQ，情感理解、拟人化，F 是 Flexible Manipulation，灵活操控；最后要达到 G，G 是 Guardian Angel，守护天使。
8 现阶段 AI 研究的「以任务表现为中心」的研究思路其实才是我们走向通用人工智能的瓶颈。
——Keras 库作者 François Chollet，《测量「智慧」的正确姿势可能是？》
研究人员以及普通大众对 AI 技术的认知里的所有错误的部分，基本上都可以把原因归结为过度的拟人化。但 AI 很狡猾，人类设计 AI 、训练 AI 想让它模仿哪一两个人类技能，它就会完完全全地只模仿这一两个技能，而完全学不到其它的（即便看起来很相关）的技能。
在这个过程里，AI 还会尝试走所有有可能的捷径、发掘各种能带来提升的小窍门甚至环境中的 bug，而不会主动遵循人类本来规划的「正道」，最终得到的系统也就和人类的思维没有任何共通之处。
可以说，现阶段 AI 研究的「以任务表现为中心」的研究思路其实才是我们走向通用人工智能的瓶颈，而实际上 AI 研究应该应该走另一条路线，即 Hernandez-Orallo 路线：「AI 是这样一门科学和工程学，它造出的机器能完成从来没有见过、从来没有提前准备过的任务」。
不仅如此，要了解一个系统的智慧水平，应当测量它在一系列不同任务中表现出的获得新能力的效率；这和先验、经验、泛化难度都相关。
9 我不认为我们需要等到一个完全发展好，再去发展另一个或去发展它们的结合，因为你会发现你永远不可能达到一个顶峰。
——CVPR 2019 最佳学生论文一作王鑫，《多模态和多语言视觉研究走到哪里了？专访王威廉组王鑫》
视觉和语言结研究其实很早就出现了，在深度学习时代之前就有人在研究，只不过在深度学习出现之后，大概 2014、15 年，大家才开始往这个研究方向着力。
因为我们是生活在一个多模态的世界，作为人类我们不是只用眼去看，还需要通过语言进行交流表达，甚至去记录一些东西；而且语言本身也是基于我们所看到的才发展起来。
所以归根结底，把两件事分开研究是一种选择，但最终我们要做的科研是肯定是要把 CV 和 NLP、甚至其他的模态都结合在一起的。而且我不认为我们需要等到一个完全发展好，再去发展另一个或去发展它们的结合，因为你会发现你永远不可能达到一个顶峰。
10 技术有好的一面也有坏的一面，就像火，可以保暖、可以烹饪食物，也可以烧死别人。
——Jürgen Schmidhuber，《「LSTM 之父」Jürgen Schmidhuber 访谈：畅想人类和 AI 共处的世界》
几十年以前，当工业机器人刚刚出现的时候，就有人说机器人会把所有人类的工作都代替了。然而结果，这些有很多机器人的国家在并没有提高失业率的情况下反而获得了更多的资本，因为出现了很多当时的人们预计不到的新职业。
现在也是如此，随着 AI 在中国以及全球得到更多的使用，工作的数量只会增加，而不会减少，失业率也会大致保持不变——因为新的工作会出现。
技术有好的一面也有坏的一面，就像火，可以保暖、可以烹饪食物，也可以烧死别人；甚至有一点和 AI 一样，如果人类不做什么干预的话就会广泛传播开来。不过，人们发现火带来的好处要比麻烦多多了，所以人们一直在提升改进使用火的技术。
这样人类才一直走到了今天。
来源 | 雷锋网
作者 | 丛末
这一年，「深度学习是否将迎来寒冬」、「AI 该如何实现可解释性」等议题频频成为 AI 社区的「座上宾」。
这一年，AI 界开始呼吁从深度学习以外的方法上找新的突破口，例如说结合推理等传统 AI 方法、基础数学以及类脑等其他跨学科的方法。
这一年，「多模态」成为 AI 界的一个热门研究方向，做 CV 的研究者开始关注 NLP，而做 NLP 的研究者开始在研究中引入 CV，多个研究领域走向融合已然势不可挡。
今天是 2019 年的最后一天，AI 科技评论挑选了今年 AI 学术界最值得回顾的十大语录，以期大家能够从中获得些许的启发，为明天即将到来的又一年的新征程做好准备！
1 推理、抽象推导这些人类最后才学会做的事情，也将会是神经网络最难学会的事情。
——Geoffery Hinton，《和 Geoffery Hinton 面对面聊聊》
如果把人类和神经网络相比，那么神经网络发展至今，在视觉信号处理、语音信号处理这些人类的感知任务上确实取得了很大进展，但运动控制方面的表现就没那么好，现在的最先进的神经网络才刚刚能追赶上传统的控制方法，更别提和人类相比了，人类的运动控制能力非常高，也非常轻松，很显然我们的大脑就是为运动控制设计的。
神经网络最终有一天是能够赶超人类的，不过现在只取得了很小的胜利而已。并且，推理、抽象推导这些人类最后才学会做的事情，也将会是神经网络最难学会的事情。
2 作为一个科学家，对我来说真正重要的是还需要探索哪些新方向才能解决问题。谁对谁错、谁站了谁的队这种事情我并不关心。
——Yoshua Bengio，《深度学习瓶颈到来时，Yoshua Bengio 有什么新打算》
很多面向大众的信息渠道都不理解学术人员做科研的方式，不管是针对 AI 领域还是其他学科，而实际上，他们研究和理解当前的理论和方法的不足之处，是为了能探索智力工具之外的更大的空间。
直到今天，AI 系统能达到的智慧程度都没法和一个 2 岁的小孩相提并论。不过，我们的算法在感知任务里可能能达到一些更低级的动物的水平，并且现在也有越来越多的工具可以帮助一个系统探索它所在的环境，所以这些系统的智力水平也在慢慢地逐步提升。
Bengio 认为，未来可以尝试在过去这些年设计的深度学习工具的基础上实现推理、规划、想象力、归因这些功能，以此实现 AI 系统高层次的认知。
3 大家不能指望人工智能一出来就「毕其功于一役」。它永远在路上，这就是人工智能的魅力所在。
——张钹，《张钹院士：人工智能的魅力就是它永远在路上》
人工智能的第一代模型，可解释、鲁棒性很强，然而也有很大局限性，即很难准确表达人类的知识经验，这也是产生的后来人工智能冬天的根本原因。
到了第二代人工智能，一个最重要的成果就是深度学习。然而深度学习并非 AI 的通用机，需要满足具有丰富的数据或知识，完全信息，确定性信息，静态，单领域和单任务这五个条件，距离真正的人工智能还有很远的距离。
因此下一步就要迈向第三代人工智能，针对第一、二代人工智能的两个主要的局限性，建立可解释、鲁棒的人工智能理论，发展安全、可信、可用的人工智能技术，促进人工智能的创新应用。
4 曾经我们认为深度学习是一个「小黑屋」，里面只有深度神经网络。现在我们打开门，发现了里面有深度森林，也许未来还能发现更多别的东西。
——周志华，《周志华 IJCAI2019 演讲：「深」为什么重要，以及还有什么深的网络》
虽然在今天深度神经网络已经这么的流行、这么的成功，但是其实我们可以看到在很多的任务上，性能最好的不见得完全是深度神经网络，并且已经有数学证明，一个模型不可能在所有任务中都得到最好的表现。所以我们有必要探索神经网络之外的深度模型。
深度森林便是其中的一个方向。虽然目前我们还不知道深度森林可以发展到什么程度，因为我们还构建不出非常深的模型，但即便未来我们构建出很深的模型了、而且发现它的表现没有我们预想的那么好，我们的研究也仍然是有价值的。
因为深度森林的构建过程为这几个猜测提供了证据：当你用一个模型就可以做到逐层信号处理、特征变换、足够的模型复杂度的时候，你就可以享受到深度模型的好处。这也就是深度森林比之前的各种森林都有更好的表现的原因。它也带给我们新的启示：我们是否有可能设计出同时兼顾到这几点的新的模型？
5 从本质上来看，人工智能、知识工程以及数学在解决问题时所使用的基本方法论其实是具有统一性的。
——徐宗本，《徐宗本院士：数学与 AI 的关系是「融通共进」》
在欣喜人工智能变成可用技术的同时，我们必须冷静地看到，目前我们还处于一个「用多少人工换来多少智能」的人工智能阶段，距离人工智能的真正产业化，真正能把人工智能技术用得明白、也用得好，仍然还有很长一段路要走。
对于人工智能未来的发展方向，徐宗本表示，我们不妨以实现共产主义来做类比：人工智能的共产主义目标是自主智能，而在实现共产主义之前我们必须先走过社会主义初级阶段——机器学习自动化便是社会主义初级阶段目标。所以说，人工智能的发展轨迹应该是从人工走向自动化，再迈向自主智能。
要想真正实现机器的自动化，必须首先解决五个数学领域的基础问题：大数据的统计学基础、大数据计算基础算法、深度学习的数学原理、非常规约束下的输运问题以及学习方法论的建模与函数空间上的学习理论。
6 未来，深度学习和语言学研究应该互相帮助，多模态信息处理也大有可为。
——周明，《周明：自然语言处理的未来之路 》
基于深度学习的 NLP 技术已经走过了词嵌入、句子嵌入、带有注意力的编解码器模型、Transformer（完全使用注意力）的这四个技术节点，预训练模型+针对具体任务的精细调节也已经成为了当前 NLP 实践的新范式。
这种新范式也给我们带来了一个新的启发：我们可以针对大规模的语料，提前训练好一个模型，这个模型既代表了语言的结构信息，也有可能代表了所在领域甚至常识的信息，只不过我们看不懂。加上我们未来的预定的任务，这个任务只有很小的训练样本，把通过大训练样本得到的预训练模型，做到小训练样本上，效果就得到了非常好的提升。
不过，未来的 NLP 不会只是基于规则的模型，同样不会只是基于 DNN 的模型；它应当是可解释的、有知识的、有道德的、有经济效益的、终生学习的模型。未来，深度学习和语言学研究应该互相帮助，多模态信息处理也大有可为。
7 什么是真正的智能？我想目前还没有定论，而且我们对我们自己的智能还没有足够的了解。
——张正友，《腾讯 AI Lab & Robotics X 主任张正友博士：计算机视觉的三生三世》
实际上，现在的人工智能都还只是机器学习：从大量的标注数据去学习一个映射。
那什么是真正的智能？正如瑞士认知科学家 Jean Piaget 说的，智能是当你不知道如何做的时候你用的东西。也就是说，当你无法用你学到的东西或天赋去面对时，你动用的东西就是智能。
如何去实现有智能的系统呢？张正友表示：可能有很多条路，但他认为一条很重要的路是需要把载体考虑进去，做有载体的智能，也就是机器人。
基于此，他还提出了 A2G 理论：A 是 AI，即机器人必须能看能听能说能思考，B 是 Body 本体，C 是 Control 控制，ABC 组成了机器人的基础能力；D 是 Developmental Learning，发育学习，E 是 EQ，情感理解、拟人化，F 是 Flexible Manipulation，灵活操控；最后要达到 G，G 是 Guardian Angel，守护天使。
8 现阶段 AI 研究的「以任务表现为中心」的研究思路其实才是我们走向通用人工智能的瓶颈。
——Keras 库作者 François Chollet，《测量「智慧」的正确姿势可能是？》
研究人员以及普通大众对 AI 技术的认知里的所有错误的部分，基本上都可以把原因归结为过度的拟人化。但 AI 很狡猾，人类设计 AI 、训练 AI 想让它模仿哪一两个人类技能，它就会完完全全地只模仿这一两个技能，而完全学不到其它的（即便看起来很相关）的技能。
在这个过程里，AI 还会尝试走所有有可能的捷径、发掘各种能带来提升的小窍门甚至环境中的 bug，而不会主动遵循人类本来规划的「正道」，最终得到的系统也就和人类的思维没有任何共通之处。
可以说，现阶段 AI 研究的「以任务表现为中心」的研究思路其实才是我们走向通用人工智能的瓶颈，而实际上 AI 研究应该应该走另一条路线，即 Hernandez-Orallo 路线：「AI 是这样一门科学和工程学，它造出的机器能完成从来没有见过、从来没有提前准备过的任务」。
不仅如此，要了解一个系统的智慧水平，应当测量它在一系列不同任务中表现出的获得新能力的效率；这和先验、经验、泛化难度都相关。
9 我不认为我们需要等到一个完全发展好，再去发展另一个或去发展它们的结合，因为你会发现你永远不可能达到一个顶峰。
——CVPR 2019 最佳学生论文一作王鑫，《多模态和多语言视觉研究走到哪里了？专访王威廉组王鑫》
视觉和语言结研究其实很早就出现了，在深度学习时代之前就有人在研究，只不过在深度学习出现之后，大概 2014、15 年，大家才开始往这个研究方向着力。
因为我们是生活在一个多模态的世界，作为人类我们不是只用眼去看，还需要通过语言进行交流表达，甚至去记录一些东西；而且语言本身也是基于我们所看到的才发展起来。
所以归根结底，把两件事分开研究是一种选择，但最终我们要做的科研是肯定是要把 CV 和 NLP、甚至其他的模态都结合在一起的。而且我不认为我们需要等到一个完全发展好，再去发展另一个或去发展它们的结合，因为你会发现你永远不可能达到一个顶峰。
10 技术有好的一面也有坏的一面，就像火，可以保暖、可以烹饪食物，也可以烧死别人。
——Jürgen Schmidhuber，《「LSTM 之父」Jürgen Schmidhuber 访谈：畅想人类和 AI 共处的世界》
几十年以前，当工业机器人刚刚出现的时候，就有人说机器人会把所有人类的工作都代替了。然而结果，这些有很多机器人的国家在并没有提高失业率的情况下反而获得了更多的资本，因为出现了很多当时的人们预计不到的新职业。
现在也是如此，随着 AI 在中国以及全球得到更多的使用，工作的数量只会增加，而不会减少，失业率也会大致保持不变——因为新的工作会出现。
技术有好的一面也有坏的一面，就像火，可以保暖、可以烹饪食物，也可以烧死别人；甚至有一点和 AI 一样，如果人类不做什么干预的话就会广泛传播开来。不过，人们发现火带来的好处要比麻烦多多了，所以人们一直在提升改进使用火的技术。
这样人类才一直走到了今天。
来源 | 雷锋网
作者 | 丛末