当深度学习遇到视觉层级结构

2022-10-12 00:37:0404:30 111

声音简介

各位听众朋友大家好，我是主播欧锋，现在为大家介绍美国科学家特仑斯谢诺夫斯基所著《深度学习——智能时代的核心驱动力量》。
我们现在介绍的是当深度学习遇到视觉层级结构。

知识取决于大脑如何表达知识的说法，同样的清楚的是，如果我们和其他动物一样要在现实世界中生存，背景知识就是必不可少的。经过训练的多层神经网络的隐藏单元之间的活动模式，与被逐次记录下的大量生物神经之间的活动模式存在显著的相似性，受到这种相似性的驱动，帕特里夏和我在1992年编写了《计算脑》一书，为基于大量神经元的神经科学研究开发了一种概念框架。（该书已经出版到第二版了,如果你想更多地了解大脑式的运算,这会是一本很好的入门参考。)麻省理工学院的詹姆斯・狄卡罗( James Dicarlo)最近比较了猴子视觉皮层层级结构中不同神经元和深度学习神经网络中的单元,训练它们识别相同图片中的对象,分别观察它们的响应(见器9-2)他得出结论:深度学习网络中每层神经元的统计特性,与皮层层级结构中神经元的统计特性非常接近。

深度学习网络中的单元与猴子视觉皮层中神经元性能存在相似性,但其原因仍然有待研究,尤其是考虑到猴子的大脑不太可能使用反向传播方式来进行学习。反向传播需要将详细的错误信号反馈给神经网络每层中的每个神经元,其精度比生物神经网络中已知反馈连接的精度要高得多。但其他学习算法在生物学上似乎更合理,例如玻尔兹曼机学习算法,该算法使用了已经在皮层中被发现的赫布突触可塑性。这引出了一个有趣的问题,是否存在一种深度学习的数学理论,能够适用于一大类学习算法(包括皮层中的那些)呢?在第7章中我提到了对视觉层级结构的上层分类表面的分析,其决策表面比更低层级的表面更平坦。对决策表面的几何分析可能会引出对深度学习网络和大脑更深人的数学理解。

深度学习神经网络的一个优点是,我们可以从网络中的每个单元提取“记录”,并追踪信息流从一层到另一层的转变。然后可以将分析这种网络的策略用于分析大脑中的神经元。关于技术的一个奇妙之处在于,技术背后通常都有一个很好的解释,并且有强烈的动机来得到这种解释。第一台蒸汽发动机是由工程师根据他们的直觉建造的;解释发动机如何工作的热力学理论随后出现,并且帮助提升了发动机的效率。物理学家和数学家对深度学习网络的分析也正在顺利进行着。

20191105

用户评论

表情0/300

暂时没有评论，下载喜马拉雅与主播互动

音频列表