“直觉机器”和“代数思维”，哪条路能走向人工智能？

铁锹 3D打印店铺

“直觉机器”和“代数思维”，哪条路能走向通用人工智能？

编者按：不久前纽约大学心理学教授、Uber人工智能实验室前负责人、人工智能创业公司Geometric Intelligence创始人Gary Marcus给深度学习泼了10次凉水，指出了这种人工智能方法存在的诸多限制。这次《人工直觉与深度学习手册》作者Carlos E. Perez开始针锋相对，逐条予以反击。总的说来，这是直觉机器与代数思维的路线之争，究竟谁更有道理呢？看谁先实现AGI吧。


对于Gary Marcus有关深度学习的限制，我至少欠他一个更详细的解释。那些研究人员在研究深度学习时没有尽职的问题在于，其实他们并不理解这一领域取得的大规模进展。通过把恐惧、不确定和怀疑（FUD）注入这个最有可能实现AGI（通用人工智能）的学习领域，其实他们是在帮倒忙。更大的问题不在于其他AGI研究活动得到的资金变稀少了，而是中国相对于美国和欧洲，资助这方面的政府开支要大得多。

有点跑题了啊，不过我的确把Marcus的每一条质疑都好好看过了，我会给大家解释这每一条用我从事的认知范式研究（比如直觉机器）的话可以如何实现。
如果离开了自动化对象跟环境的交互机制，任何有关实现AGI的对话都是不完整的：
深度学习是非常好的通用逼近器（我们现有最好的一个），当然，除了学习模式以外AGI还需要更多。我已经在之前的文章中写过了。不过，除非有人构思出了更好的模式识别器，否则的话AGI的发展还将继续由深度学习推动。吸收了逼近器的现金方法有很多。GAN引入了竞争学习的思路，将识别器与生成器进行结合。RL+DL表明，通过利用Q-learing算法和DL，仅靠观察像素来学习是有可能的。AlphaZero通过MCTS（蒙特卡洛树） + DL表明，通过自己跟自己下棋就能形成更先进的策略。在“深度学习”这个东西被发明出来之前没人设想过上述任何一个新办法。然而，所有这些新方法成功的主要原因是由于它们把深度学习作为了一个组件。从方程式里面撤走深度学习的话你就什么也得不到了。
好了，现在我们要搬出Gary Marcus的观点看看用深度学习（或者直觉机器）可以如何解决了。
3.1. 迄今为止的深度学习对数据非常饥渴
这是因为大多数实验装置都是要从零开始对环境没有任何的先验知识。相反，人类婴儿在这一点上有着永恒的进化优势。
不过，如果我们看看AlphaZero的最新进展的话，那么这种需要大量数据的限制似乎已经被消除了。AlphaZero学会下出大师级水平，但是却不需要从棋谱中学习。相反，它仅仅靠定义了棋类的规则就做到了这一点。它只用了4个小时就学会了下期策略（不同的开局着法、开局让棋法、对棋盘的控制、残局的下法、迫移等）。换句话说，它在短得不可思议的时间内就学会了人类在下了很多世纪才领悟到的所有东西。
要是无视这一点风险就得你自己承担了。
3.2. 迄今为止的深度学习很肤浅迁移能力有限
我们对深度学习的迁移学习的理解仍在初期阶段。在用于类似领域是我们已经目睹过迁移学习的进展。举个例子，对预先训练过的网络进行训练的话培训会变得更快。这一领域令人印象最为深刻的进展就是高分辨率图像的生成。这让我们通过逐步从较小规模的网络学习慢慢搭建出一个更大的能力更强的网络。
然而，我们还无法训练网络做的事情是，学会知道哪些是不变的东西，这样才能去学习那些重要的东西。深度学习似乎什么都学，我们也不理解如何才能区分对另一个领域不重要的东西。比方说，如果你改变一个视频游戏的维度，受训万这个游戏的RL+DL系统就没法玩下去了。这种规模变化让学习模型陷入了困境。
这是一个有趣的问题，但看起来并不像是无法克服。
3.3. 迄今为止的深度学习没有应对层次结构的自然手段
基本上，深度学习是在没有理解层次概念的情况下连续向量空间内建立起表示的。然而，像Capsule Network、Hyperbolic空间以及Graph Convolutional Network（图卷积网络）等工作都能捕捉这些分层。
DL方面每年都有成千上万的论文发表。我想Marcus繁忙的日程安排能跟得上这些文献的阅读。
3.4. 迄今为止的深度学习仍搞不定开放式推理
对非静态环境下有着多个竞争与合作共存的神经网络的新的研究论文现在已经有发表了。开放式要求在信息不完整的情况下建立起策略。这也是半监督学习领域的重要研究课题。这种情况下部分信息是打了标签的，但是大部分信息都不是。深度学习系统已经表明它们在这个领域表现很好。
信息不完整环境的一个例子是扑克游戏。利用深度学习来玩竞争性很强的扑克游戏已经取得了重大进展，它们打得非常好。
我可以大胆地说，最先进的开放式推理目前为深度学习型技术所统治。
3.5. 迄今为止的深度学习透明度不够
这点没错，不过难道我们不应该在通用人工智能的背景下来讨论这个的吗？人类自己的透明度就充分了吗？
人类利用直觉进行的推理就像深度学习直觉机器做出的推理一样令人费解。请读读我在解释深度学习的时候对2018年做出的预测。
3.6. 迄今为止的深度学习没有跟先验知识整合
这个跟AGI也没有关系。如果我要给洞穴人一个语义网络或者牛顿的运动方程式的话，他也没法消化吸收进自己的知识库。人类并没有《黑客帝国》里面的那种机制，只需要下载知识即可。
人类消化先验知识的办法是通过K-12学校课程，需要好几年的教学。
不管怎样，我们先暂时忽略这要求的荒谬。在NLP当中，那些应用了深度学习的，那些吸收了语义网络的识别引擎已经表明要比那些没有的表现更好。
3.7. 迄今为止深度学习无法自行区分因果关系和关联关系
普通人也没法做到。这不是AGI的要求。
3.8. 深度学习假定世界基本上是稳定的，这可能会引起问题
深度学习最大的未解难题之一是学会如何遗忘。其重要性在于对世界的心智模式是如何建立的。当我们有了那种更高级的智能，可以对世界以及某人的想象进行模拟和实验时，你就可以了解到先验知识是不正确的，因此也必须进行相应调整。
知道之前了解到的知识由于与现实世界观察到的东西不一致而必须进行改变，这种可锻性是很困难的技能。
再说了，哪怕是当今的美国总统都缺乏这种技能。
3.9. 迄今为止的深度学习从逼近性来说工作得不错，但是它的答案往往不能完全信任
信任是一种突现社会行为。（除非它被编码进区块链）
如果无人车的底层技术采用的是深度学习的话我们能怎么信任它呢？
我们信任它们是因为保险公司会进行测算然后开始对那些选择自己开车的人收取较高价格。
建议你读一下这篇文章来了解人类兼容AI的复杂性。
3.10. 迄今为止的深度学习难以设计
说得没错，这正是深度学习有时候被称为“深度点金术”的原因。不是每一次革命都不用付出努力的！
理想情况下我们想要结构更加生物性的系统。我在《灵感源自生物的架构》中提到过这些问题。如果你的确想要理解开发深度学习架构的复杂性，那么也许你可以从这篇文章开始。
Marcus似乎把对精心设计的认知系统的要求与对AGI的要求弄混了。在某些情况下，它们的问题是有关联的，但不是次次都是。
但这只是Gary Marcus对深度学习和AGI认知错误的一个原因。我们在人类身上找到的通用智能并不是“代数思维”，相反而是直觉机器。这是我们对AGI的实现路径看法上的不同。Marcus的代数思维让我想到了创始论者提出的“智能设计”。这种观点认为，进化演进出一个眼睛是不可能的。然而，这个却是深度学习研究人员的论断。先天的认知机器可以通过学习方法而不是通过设计来发展起来。
我们可能会在不理解其工作机制的情况下发现AGI。在科学史上，理论很少会走在发现的前面。可能会发生的情况是深度学习方法会发现更先进的学习方法，引领我们走向AGI。这个跟AlphaGo或者AlphaZero发现的那种新的下棋方法未必有什么不同。我们刚开始的时候以为它们的下法是算法出问题，结果在人家下赢了之后才发现对方的天才。然而，哪怕我们回过头来再去复盘，我们的理解也是有限的，人不不知道机器这么下的动机。这是因为洞察作为直觉的结果永远都是很难解释的。
原文链接：https://medium.com/intuitionmachine/intuition-machines-versus-algebraic-minds-fad052b46ad5
编译组出品。编辑：郝鹏程。