“深度学习不是学习”:英特尔高管与AI大牛LeCun展开互怼
在Hinton发出自我质疑之后,反向传播更成了讨论的热点,甚至被称为“今日AI的阿喀琉斯之踵”。 ![]() 不过现在,可能Hinton应该自己的作品稍微满意一点了。 哈佛大学临床神经科学学院的两位科学家在最新一期Cell旗下期刊《认知科学趋势》(Trends in Cognitive Sciences)上发表综述,总结了人工神经网络的反向传播算法,在大脑中是怎样体现的。 这篇综述题为“大脑中误差反向传播的理论”(Theories of Error Back-Propagation in the Brain),综合了近来的一批理论研究,分析几类生物反向传播模型。 ![]() 作者说,这些理论研究“否定了过去30年来普遍接受的教条,即:误差反向传播算法太复杂,大脑无法实现”。 根据这些研究,脑神经回路中类似反向传播的机制,是基于突触前和突触后神经元活动的简单突触可塑性规则。 论文:https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(19)30012-9 One more thing…虽然Davies和LeCun在一场学术会议上隔空吵得很热闹,但深度学习和神经形态计算并非势不两立。 有不少学者在研究如何把神经形态芯片和深度学习结合起来。 比如: 美国橡树岭国家实验室、加州理工大学和田纳西大学的学者们,就曾经研究过如何在高性能计算设备、神经形态芯片和量子计算机上运行复杂的深度神经网络。这是他们的研究: A Study of Complex Deep Learning Networks on High Performance, Neuromorphic, and Quantum Computers 地址:https://arxiv.org/abs/1703.05364 而奥地利格拉茨技术大学的Guillaume Bellec、Franz Scherr等人,最近在arXiv上公开了一项研究,提出了反向传播的一种替代方案。他们的研究题为: Biologically inspired alternatives to backpropagation through time for learning in recurrent neural nets 地址:https://arxiv.org/abs/1901.09049 供感兴趣的朋友们深入探索~ 【编辑推荐】
点赞 0 (编辑:青岛站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |