有工作记忆的神经网络

2022-10-02 21:10:1906:13 127

声音简介

各位听众朋友大家好，我是主播欧锋，现在为大家介绍美国科学家特伦斯谢诺夫斯基所著《深度学习——智能时代的核心驱动力量》

有工作记忆的神经网络

自20世纪60年代以来，神经科学已经走过了漫长的道路，从我们目前对大脑中的了解可以获得很多东西，心理学家，把人类的这种活动称为工作记忆，也正因为有了工作记忆，我们在执行任务的时候，比如打电话号码，能够记住7+2项内容。在记录了猴子的前额叶皮层的活动后，帕特里夏高德曼拉齐克，在报告中提到，一些最初对提示做出回应的神经元，在延迟期间仍然保持着活跃状态。

默认情况下，长短期记忆会传递原始信息而不会发生衰竭，这就是猴子前额叶皮层的延迟期中发生的事情，并且他也有一个复杂的方案来决定，如果将新的输入信息和旧信息整合，于是远程依赖关系可以被选择性的保留，神经网络中这种工作记忆版本沉寂了长达20年之久，直到他在深度学习网络中再次被唤醒而实现长短及记忆和深度学习的集合，在许多依赖输入输出序列领域都取得了令人瞩目的成功，例如电影音乐动作和语言。

2015年, Kelvin Xu及其同事在用一个深度学习网络识别图像中的对象的同时,还连接了一个长短期记忆循环网络来标注图片。使用来自深度学习网络第一遍识别的场景中所有对象作为输入,他们训练长短期记忆循环网络输出一串英文单词,能够形容一个标注中的场景。他们还训练了长短期记忆网络来识别图像中的位置，使其对应于标注中的每个单词。该应用令人印象深刻的地方在于,长短期记忆网络从未被训练来理解标注中句子的含义,只是根据图像中的对象及其位置输出语法正确的单词串。再加上第8章里早期的话语网络示例,这更加证明了神经网络似乎对语言有种亲和力,但其中的原因我们却不得而知。通过分析长短期记忆网络也许会引出一种新的语言理论,它将阐明网络的工作原理和自然语言的性质。

20191106