神经网络研究的发展历程

Jedi2000 · 发表于 2009-9-29 16:06:33

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？注册

x

神经网络研究的发展历程

神经网络研究的主要发展过程大致可分为四个阶段：

1. 第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经元的形状呈
两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向
传递。在他之后发明的各种染色技术和微电极技术不断提供了有关神经元的主要特征
及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经活动中所蕴
含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即M－P模型。该模型将
神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。

1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本书中他提出
了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。Hebb写道："当神
经细胞Ａ的轴突足够靠近细胞Ｂ并能使之兴奋时，如果Ａ重复或持续地激发Ｂ，那么
这两个细胞或其中一个细胞上必然有某种生长或代谢过程上的变化，这种变化使Ａ激
活Ｂ的效率有所增加。"简单地说，就是如果两个神经元都处于兴奋状态，那么它们
之间的突触连接强度将会得到增强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电路时，将膜
上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建立了著名的Hodykin-
Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计算的出现打下
了基础。

2. 第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络特点的模式识
别装置，即代号为Mark Ｉ的感知机（Perceptron），这一重大事件是神经网络研究
进入第二阶段的标志。对于最简单的没有中间层的感知机，Rosenblatt证明了一种学
习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经网络处理单
元，即自适应线性元件Adaline，并且还为Adaline找出了一种有力的学习规则，这个
规则至今仍被广泛应用。Widrow还建立了第一家神经计算机硬件公司，并在六十年代
中期实际生产商用神经计算机和神经计算机软件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和实现思想方面
作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵的一种二进制联想网络
结构及其硬件实现。N.Nilsson于1965年出版的《机器学习》一书对这一时期的活动
作了总结。

3. 第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书的出版。该
书对单层神经网络进行了深入分析，并且从数学上证明了这种网络功能有限，甚至不
能解决象"异或"这样的简单逻辑运算问题。同时，他们还发现有许多模式是不能用单
层网络训练的，而多层网络是否可行还很值得怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论给当时神经
网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版后，美国联邦基金有
15年之久没有资助神经网络方面的研究工作，前苏联也取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工作，如美国
波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen以及日本东京大学的
甘利俊一等人。他们坚持不懈的工作为神经网络研究的复兴开辟了道路。

4. 第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型神经网络模型
，利用所定义的计算能量函数，成功地求解了计算复杂度为NP完全型的旅行商问题（
Travelling Salesman Problem，简称TSP）。这项突破性进展标志着神经网络方面的
研究进入了第四阶段，也是蓬勃发展的阶段。

Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功能特性。19
83年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且研制出了Boltzmann机。
日本的福岛邦房在Rosenblatt的感知机的基础上，增加隐层单元，构造出了可以实现
联想学习的"认知机"。Kohonen应用3000个阈器件构造神经网络实现了二维网络的联
想式学习功能。1986年，D.Rumelhart和J.McClelland出版了具有轰动性的著作《并
行分布处理-认知微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会（INNS）成立
。随后INNS创办了刊物《Journal Neural Networks》，其他专业杂志如《Neural Co
mputation》，《IEEE Transactions on NeuralNetworks》，《International Jour
nal of Neural Systems》等也纷纷问世。世界上许多著名大学相继宣布成立神经计
算研究所并制订有关教育计划，许多国家也陆续成立了神经网络学会，并召开了多种
地区性、国际性会议，优秀论著、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决定性的阶段。
日本、美国及西欧各国均制订了有关的研究规划。

日本制订了一个"人类前沿科学计划"。这项计划为期１５－２０年，仅初期投资就超
过了１万亿日元。在该计划中，神经网络和脑功能的研究占有重要地位，因为所谓"
人类前沿科学"首先指的就是有关人类大脑以及通过借鉴人脑而研制新一代计算机的
科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资４亿美元，由
国防部高级研究计划局（DAPRA）制订了一个８年研究计划，并成立了相应的组织和
指导委员会。同时，海军研究办公室（ONR）、空军科研办公室（AFOSR）等也纷纷投
入巨额资金进行神经网络的研究。DARPA认为神经网络"看来是解决机器智能的唯一希
望"，并认为"这是一项比原子弹工程更重要的技术"。美国国家科学基金会（NSF）、
国家航空航天局（NASA）等政府机构对神经网络的发展也都非常重视，它们以不同的
形式支持了众多的研究课题。

欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是"神经网络在
欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多个欧洲大公司卷进这
个研究项目，如英国航天航空公司、德国西门子公司等。此外，西欧一些国家还有自
己的研究计划，如德国从1988年就开始进行一个叫作"神经信息论"的研究计划。

我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年12月，由中国
计算机学会、电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物
理学会和心理学会等八个学会联合在北京召开了"中国神经网络首届学术会议"，从而
开创了我国神经网络研究的新纪元。

(节选自《人工智能与知识工程》，陈世福、陈兆乾等编著，南京大学出版社，1998.2)