IFTNews人工智能报道：来自大脑的灵感与人工智能极其相关，现在是我们进一步推进的时候了。

根据Geoff Hinton的说法，更好地理解神经元飙升的原因可能会导致智能AI系统更加高效地存储更多信息，而Geoff Hinton通常被称为深度学习的“教父”。

Geoff Hinton是多伦多大学名誉教授，也是Google的一名工程师。他是神经网络的先驱之一，并且是一小群学者的一部分，他们通过一段时间的不温不火的兴趣、资金和发展来培养技术。

通过像奥巴马政府的“大脑计划”这样的研究计划，对大脑进行大规模的分析，有望揭示大脑的新方面，给人工智能设计师带来新思路。

您可以将来自神经科学的想法转化为与AI相关的想法 - 尽管需要一些时间。 Hinton在1973年首先想到的是，实现一个系统的能力与突触事件在多个时间尺度上发生变化的能力相似，但直到2016年才在这一领域发表了一篇重要论文。

开发强大的感知系统相对容易，但我们需要新技术来构建能够推理和语言的系统。

杰克克拉克：为什么我们应该在开发AI系统时着眼于大脑，我们应该关注哪些方面？

Geoff Hinton：主要原因是它是有效的。这是我们唯一知道的非常聪明并具有通用智能的东西。第二个原因是，多年来，一部分人认为你应该看看大脑，试图让AI更好地工作，而且他们并没有真的走得太远 - 他们在80年代推动了它，但随后它他们对AI中的每个人都有些嘲笑，他说：“你不用看大黄蜂去设计一个747”。但事实证明，他们从大脑中获得的灵感是非常相关的，没有，他们可能不会朝这个方向走。这不仅仅是我们有一个聪明的例子，我们也有一个可行的方法的例子，我认为我们应该进一步推进。

JC：今天，像神经网络这样的现代分类器的方面看起来与我们对大脑视觉系统所知甚少。我们也在开发受海马启发的记忆系统。还有其他领域我们可以看到大脑，并开始采取元素，如峰值神经元？

GH：我们不知道为什么神经元会飙升。一个理论是他们想要喧闹以便正规化，因为我们拥有比我们有数据点更多的参数。辍学的想法[一项旨在帮助防止过度配合的技巧]是，如果您有嘈杂的激励，则可以使用更大的模型。这可能是他们为什么飙升的原因，但我们不知道。他们为什么会飙升的另一个原因是，他们可以使用时间的模拟维度，在峰值时刻编码一个真实值。这个理论已经存在了50年，但没有人知道它是否正确。在某些子系统中，神经元肯定会这样做，就像判断信号到达两只耳朵的相对时间一样，这样就可以得到方向。

另一个领域是在各种记忆中。突触适应许多不同的时间和复杂的方式。目前，在大多数人工神经网络中，我们只是有一个适应突触的时间尺度，然后是一个激活神经元的时间尺度。我们没有所有这些突触适应的中间时间尺度，我认为这些对于短期记忆非常重要，部分原因是它为您提供了更好的短期记忆能力。

JC：我们理解大脑的能力是否存在障碍，这可能会减慢我们在AI的启发下开发创意的速度？

GH：我想如果你把一个电极放在一个电池里面并记录下来，或者把一个电极放在一个电池附近并记录下来，或者靠近一堆电池，并试着从其中的一半中记录下来，了解光学染料很容易理解的事情，让您了解一百万个细胞在做什么。奥巴马脑科学计划中会出现各种各样的事情，为我们提供新技术，使我们能够看到（并且明显）那些难以建立的事情。我们不知道他们会怎样，但我怀疑这会导致一些有趣的事情。

JC：那么，如果我们有足够大的神经网络，那么在任何给定的任务中能够匹配一个人还是缺少我们需要的组件？

GH：这取决于你在说什么特定的任务。如果你采用语音识别这样的东西，如果一个真正的大网络与人类完全匹配，我会感到非常惊讶;我认为它要么会变得更糟，要么会变得更好。人不是限制。我认为实际上在语音识别方面，如果在10年的时间里，神经网络不能比人们做得更好，我一点也不会感到惊讶。对于其他领域，例如从很少的例子中推理和学习，开发匹配或超越人的系统可能需要更长的时间。

JC：现代强化学习系统似乎有一个问题，就是要知道问题的哪些部分要专注于探索，因此您不必在图像的不太有趣的部分浪费时间。

GH：这在视觉上完全一样。人们做出非常聪明的注意。几乎所有的光学阵列都不会以高分辨率进行处理，而在计算机视觉领域，人们通常只是以低分辨率，中等分辨率，高分辨率拍摄整个阵列，并试图合并信息，所以它们也是一样的问题在我们。你如何聪明地专注于事物？我们将不得不面对同样的问题。这是一个基本问题，我们还没有解决。

JC：您最近在您发表的关于神经网络中权重的短期变化的论文中发表了演讲。你能解释这篇论文吗？为什么你认为这很重要？

GH：在循环神经网络中，如果他们正在处理一个句子，他们必须记住有关到目前为止在句子中发生的事情的东西，并且所有的记忆都在隐藏的神经元中的激活中。这意味着那些神经元不得不被用来记忆东西，所以它们不能用于当前的处理。

一个很好的例子是，如果你有一个嵌入式句子，如果有人说，“约翰不喜欢比尔，因为他对玛丽无礼，因为比尔对玛丽无礼” - 你处理句子的开始，然后你使用完全相同的知识处理来处理“，因为比尔对玛丽不礼貌。”理想情况下，您希望使用相同的神经元和相同的连接以及相同的连接权重进行处理。这就是真正的递归会是什么，这意味着你必须把你迄今为止在句子中的东西拿走，你必须把它放在一边。问题是：你怎么把它放在一边呢？在计算机中，这很容易，因为您拥有随机存取内存，所以您只需将其复制到其他位的内存以释放内存。在大脑中，我不认为我们复制了神经活动模式;我认为我们所做的是对突触强度进行快速改变，以便我们可以在需要时重新创造记忆，并且当情境适合时我们可以重新创建它们。

我最近和Jimmy Ba以及DeepMind的一些人一起展示了我们如何才能完成这项工作。我认为这是一个例子，突触在多个时间尺度上发生变化的事实可能是有用的。我在1973年首先想到了这个问题，并创建了一个可以对一个非常简单的问题进行真正递归的小模型。一年前，我回到了DeepMind，并在框架内工作，以便了解所有内容。回想起来，电脑有64k的记忆，我们不知道如何训练大神经网络。

JC：您认为人工智能代理需要以某种形式体现，无论是在机器人还是足够丰富的模拟中，才能真正变得智能？

GH：我认为有两个方面，一个是哲学方面，另一个是实践方面。在哲学上，我没有看到为什么必须要体现它的理由，因为我认为你可以阅读维基百科并理解这个世界是如何运作的。但作为一个实际问题，我认为体现是一个很大的帮助。这里有一个马克思的话：“如果你想了解这个世界是如何运作的，试着改变它。”只是寻找并不像理解事物那样有效。所以，哲学问题是：行动至关重要？如果行动对理解世界至关重要，那么天体物理学就陷入困境。所以，不，我不认为体现是必要的。

JC：如果您能够复制尖峰神经元的某些特性并将其与可形成暂时记忆的系统结合，那么您将能够构建什么？

GH：我认为这可能会让我们今天的所有工作都变得更好。因此，对于自然语言理解，我认为拥有一个权重快速变化的联想记忆是有帮助的，对于这些前馈网络，我认为巧合探测器在滤除背景中的混乱方面要好得多，所以它们会很多更好地关注信号并滤除噪音。这也可以帮助从小数据集中学习。

作者： Jack Clark