微信号:AI_era

介绍:智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元.重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代.

哺乳动物大脑神经元也能做深度学习,未来10年神经科学与人工智能将迎突破

2017-12-07 00:00 新智元

新智元小程序正在直播NIPS2017盛况,欢迎围观







  新智元报道  

来源:CIFAR,EurekAlert!

作者:费欣欣


【新智元导读】多伦多大学和DeepMind研究人员合作,通过实验表明某些哺乳动物的神经元也能进行深度学习。如果神经元与深度学习之间的关联得以确认,我们就能开发更好的脑机接口,从疾病治疗到增强智能,随之而来的应用也将开启各种可能。


神经网络受生物神经网络启发而来,但大脑里的学习过程真如深度学习那样吗?这个问题的答案有望实现更强大的深度学习模型,也有助于进一步了解人类的智能。


12月5日,CIFAR研究员、多伦多大学的Blake A. Richards和同事在期刊eLife发表了论文《尝试用分离的树突进行深度学习》(Towards deep learning with segregated dendrites)[1]他们在论文中提出了一种算法,对大脑中可以如何进行深度学习进行了模拟。他们构建的网络表明,某些哺乳动物神经元具有适合进行深度学习的形状和电学特性。不仅如此,他们的实验也用一种更接近生物学的方法,展示了真实的大脑如何进行深度学习,甚至有望帮助解释大脑如何演化出了“学习”的能力。


如果神经元与深度学习之间的关联得以确认,我们就能开发更好的脑机接口,从疾病治疗到增强智能,随之而来的应用也将开启各种可能。


哺乳动物大脑的神经元也能做深度学习


这项研究由Richards和他在多伦多大学的研究生Jordan Guerguiev一起,与DeepMind的Timothy Lillicrap合作完成。


实验中使用的神经元是小鼠大脑新皮质的树突细胞。新皮质脑区负责一些高等功能,比如知觉、运动指令的产生,与空间推理、意识及人类语言也有关系。而树突则是从神经元细胞本体发出的多分支突起,形状类似树木。树突是神经元的输入通道,将从其他神经元接收到的动作电位(电信号)传送至细胞本体。


研究构建的“多房室神经网络”模型示意:左边是小鼠初级视觉皮层锥体神经元;右边是简化的神经元模型。来源:CIFAR


利用这种神经元结构的知识,Richards和Guerguiev建立了一个模型,叫做“多房室神经网络”(multi-compartment neural network model)。在这个网络中,神经元都在隔开的“隔间”中接收信号。由于一段一段隔开,不同层的模拟神经元能够协作,实现深度学习。


结果发现,在识别手写数字时,多层网络的效果明显好于单层的网络。算法能够利用多层网络结构识别高阶表示正是深度学习的核心标志。这表明小鼠大脑神经元跟人工神经元一样都能进行深度学习。


“这只是一组模拟,所以不能准确反映大脑正在做什么。但是,如果大脑可以使用AI使用的算法,这已经足以证明我们可以开展更进一步的实验调查了。”Richards说。


用更好的训练方法,证明深度学习体现人类大脑工作机制


在21世纪初,Richards和Lillicrap在多伦多大学上了Hinton的课,深信深度学习模型在一定程度上准确反映了人类大脑工作的机制。但是,在当时要验证这个想法还有几个挑战。首先,人们还不确定深度学习是否能达到人类水平。其次,深度学习算法违反了神经科学家已经证明的生物学事实。


计算机网络在深度学习中发生的活动模式也类似于人类大脑中所见的模式。但是,深度学习的一些特征似乎与大脑的工作方式不相容。而且,人工网络中的神经元比生物神经元简单得多。


现在,Richards和一些研究人员正在积极寻求弥合神经科学和人工智能之间差距的方法。本文以Yoshua Bengio团队的研究为基础,以生物学上更加可行的方式训练神经网络。


均衡传播示意图:使用均衡传播训练神经网络时信息的传递过程。右边的简单网络,一层一层传递,BP适用,当然均衡传播也适用;而左边的复杂网络,更加类似生物神经网络结构,BP在这里就不适用了,这也是通常认为深度学习不能体现人脑机制的原因之一,但是,均衡传播能够适用于多连接的这种情况。


Bengio和他的研究生Benjamin Scellier发明了一种新的神经网络训练方法[2],叫做“均衡传播”(equilibrium propagation),是常用的反向传播(BP)的一种替代方法。均衡传播可以使用单一的回路和单一类型的计算来进行误差的推理和反向传播。因此,均衡传播过程可能更加类似大脑生物神经回路中的学习过程。


这项研究还使用了DeepMind的Timothy Lillicrap开发的算法[3],进一步放宽了神经网络的一些训练规则。(顺便一说,Timothy Lillicrap也是DeepMind最强通用棋类AI AlphaZero论文的作者之一。


这篇论文还吸收了Matthew Larkam对新皮质神经元结构的研究。通过将神经科学的发现与现有的算法相结合,Richards的团队创建了一个更好的、更真实的算法来模拟大脑中的学习过程。


未来10年真正打通神经科学与人工智能


树状新皮质神经元只是大脑中许多细胞类型之一。Richards说,未来的研究应该模拟不同类型的大脑细胞,并研究它们如何相互作用来实现深度学习。从长远看,他希望研究人员能够克服重大挑战,比如在不接收反馈的情况下如何通过经验进行学习。


Richards说:“我们在接下来的十年左右可能会看到神经科学与人工智能之间真正的研究良性循环,神经科学的发现帮助我们开发新的人工智能,而人工智能帮助我们解释和理解神经科学方面的实验数据。”



参考资料

  • [1] Towards deep learning with segregated dendrites:https://elifesciences.org/articles/22901

  • [2] Equilibrium Propagation: Bridging the Gap between Energy-Based Models and Backpropagation:https://www.frontiersin.org/articles/10.3389/fncom.2017.00024/full

  • [3] Random synaptic feedback weights support error backpropagation for deep learning:https://www.nature.com/articles/ncomms13276



欢迎读者朋友加入新智元读者群一起交流探讨,请加微信(备注名字+学校/企业+研究/关注领域):aiera2015


新智元正在招聘,点击下面的招聘海报,了解职位与招聘详情。

 
新智元 更多文章 【杀人机器人一击毙命】俄罗斯不顾联合国禁令强势推进军用机器人计划(视频) 【无人驾驶量产得靠128线廉价激光雷达,中国将是最大市场】专访Velodyne自动驾驶VP 【NIPS2017现场+数据也疯狂】最佳论文大奖公布,算法关注度超越深度学习排第一 【AI大战地铁:阿里vs腾讯】马云语音+刷脸购票,马化腾微信扫乘车码,谁占先机? 【NIPS2017】大会议程最全盘点,7位重磅嘉宾报告,DeepMind、Facebook论文汇总
猜您喜欢 【干货】分类型数据可视化方法研究报告 简聊代码被开源了 iOS 架构模式导论 当我们谈到大数据时,大数据工程师们谈些什么? Android打包系列——打包流程梳理