人工神经网络与模糊信号处理

人工神经网络与模糊信号处理，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，，模主观性神经网络新技术发展历程模糊性遗传算法严密性控制现论,语言理论感性再现性客观性系统理论,通信理论电路理论,网络理论传统技术发展历程过去现在将来图1.1科学技术的发展历程不能阻碍我们进行谈话,但是实现这种噪音环境下的声音识别仍然是个难题。还有,我们知道幼儿已经可以在一瞬间认出自已的父母,但是计算机却还不能进行这样的图像识别。那么,是科学技术不断进步就能够使上述种种难题得以解决,还是科学技术本身就存在某些缺陷呢?带着这样的疑问,研究者逐渐意识到,以前的科学技术过于追求严密性,而忽视了人类擅长的信息处理方式。也就是,通过经验的积累和不断地学习针对各种各样的问题进行全局考察,弹性对应的方法。目前,人们已经开始利用将这种信息处理方式与严密的科学技术相结合的方法,对涉及到情感、直觉和闪念等单纯利用数值化方法很难解决的问题,进行深入的探讨和研究。1.1.2神经网络与模糊理论为了打破传统科学技术的局限,学者们进行了多方面的具体研究t1-4,其中之一就是以人类所具有的主观性为原理构筑而成的模糊理论,有关内容将在下节予以介绍;还有一个,是以世界上高度系统化的人脑信息处理方式为模板,探讨人脑的信息处理方式及其实现,这方面的研究对象称之为神经网络或人工神经网络( artificial neuralnetwork),也就是神经元(人工神经元)的网络1,1.3神经网络的兴起神经网络的兴起是从20世纪80年代后期开始的。广义的神经网络在这之前就已经从理论研究阶段发展到了应用阶段。这里,根据表1.1,以通信领域的应用为例予以介绍。在信号处理中有被称为自适应信号处理的一个领域[5,6。自适应信号处理的思想是,使系统中的参数具有可变性,从而完成对状况变化的适应性追踪。神经网络的一个很显著的特征,就是优秀的学习能力。自适应可以被广义地认为是学习,所以适应系统可以看作是个简化了的神经网络。衰1.1使用与神经网络相同原理的系统*回声消除器自适应预测器*末知系统的模型化*天线的旁瓣消除器自适应噪声消除器*自适应线频谱增强器比如,在远距离通话时,如图1.2所示,语者的声音会经过对方的连接点返回,这是由于连接点中电子线路不匹配引起的。特别是在使用卫星通话的情况下,由于声音到达需要大约0.3~0.5s的时间,语者就会一边听着延迟后自己的声音,一边还要说话,这样的通话是非常糟糕的。这就需要一个消除回声的装置即回声消除器,其工作原理即是要产生一个与回声等效的信号从而将回声信号从原信号中剔除。不1)参看本系列书中的《卡尔曼滤波器与自适应信号处理》一书。过,不同的通信路线会产生不同程度的回声,因此根据途中线路等的状况还要采取应对时间性变动的措施。由于回声消除器必须吸收这样的时间性变动,可采用如图1.3所示的适应形式二线制回路四线制回路二线制回路语者A混合混合语衤者B回声图1.2远距离电话线路中回声的产生回声消除器仿回声发生部分混合语者B回声被消除的信号图1.3远距离电话线路中的回声消除原理为使回声成分变为零,仿回声发生部分内的滤波器系数就需要逐次变更。为此,经常用到LMS( Least Mean Square)算法(参见2.2.1节),而且,这种算法在神经网络中也被广泛应用。在声音信号和图像信号的传输中,为了降低通信成本,就要尽可能地减少传输的信息量,所采用的方法是通过过去的信号值对未来值进行某种程度的预测。这样就要用到自适应预测器( adaptive predictor)。为了能应用于各种信号,必须具备自适应功能的同时还具有较高的通用性。自适应预测器在原理上与回声消除器很相似,都是为了达到实际输入值与预测值之间差值较小为目的而使用LMS算法。5除了上述介绍的设备之外,还有未知系统的模型化,天线的旁瓣消除器,自适应噪音消除器,自适应线频谱增强器等。总之,神经网络已经被认为是包括自适应信号处理的新型信号处理技术1.1.4神经网络的发展神经网络中开始受到人们重视的是称为感知器( perceptron)的层次型神经网络。但在当时人工智能(AI: Artificial Intelligence)领域, M. Minsky等人指出感知器被具有局限性,这使得刚刚兴起的神经网络的发展转入了低谷。到了20世纪80年代,人们发现了反向传播( back propagation)在神经网络应用中的优秀学习算法,同时一些具有实际意义的应用相继问世,神经网络一下子又成为了关注的焦点。此外,与物理学比拟的网络的提出和优化问题解法的成功应用,以及计算机处理信息和数据的能力变得更为强大,都是神经网络受到青睐的主要因素1.1.5人类的大脑为了模拟人脑的信息处理方式,我们首先来了解一下人的大脑图1.4显示了人脑的结构[:肼胝体大脑头顶沟间脑中脑小脑脑桥延髓脊髓图1.4人脑6脑主要由大脑半球、脑干和小脑组成。大脑半球由大脑皮质构成,低等哺乳类动物中旧皮质和古皮质很多,而人类则有很明显的新皮质结构。大脑皮质的表面有很多沟,据说,如果把它伸展开来,其面积有一张报纸(约2000平方厘米)那么大如图1.5所示,人类大脑皮质的不同部分行使不同的功能。大脑皮质有6层结构,大小及形状各异的神经细胞构成了复杂的神经网。大脑与脑的高级功能如记忆和学习密切相关。脑干中有间脑、中脑、脑桥、延髓等。人的小脑,主要与运动控制及生物功能有关,相当于3万台左右普通计算机的处理能力。中心沟顶叶额叶运枕要“圆女人数人)到听觉外侧沟叶图1.5功能与对应的大脑部位人脑的重量在出生时大约为400g左右,成人就达到1200~1500g这不是因为细胞的增加,而是因为神经细胞之间的结合更加紧密的缘故。还有,大脑中氧的消耗速度在身体各内脏器官中是最快的1.1.6神经细胞的模型化神经细胞有许多种类,但它们的主要功能可以表现为接受从其他神经细胞来的输入,产生与其输入相对应的输出。·输入和输出的关系,通常表示为如图1.6所示的非线性关系,因为如果用线性关系,就7输出输出输入之和输入之和输入之和(a)阈值函数(b) Sigmoid函数(c)阙值函数+摆动输出输出输入之和输入之和(d) Sigmoid函数+摆动(e)线性函数图1.6神经细胞的各种模型化不能显示出多层化的效果图1.6(a)为最初的形式,是在 McCulloch- Pitts模型中使用的阈值函数;图1.6(b)称为双弯曲函数( sigmoid function),应用最为广泛,其特征是容易求得微分值;图1.6(c)和(d)由于考虑了摆动,具有概率输出的特征;图1.6(e)与模糊中用的隶属函数相似。这些函数有一个共同点,就是输出都被限定在一定范围内,这点对于网络的稳定是非常有利的。1.1.7各种神经网络若按结构分,神经网络可以分为层次型神经网络和互联型神经网络;若从学习算法角度,可以分为与输入信号对应提供教师信号并且学习输入输出关系的有教师学习,和只根据输入信号进行自组织学习的无教师学习。层次型神经网络信号的流向,一般为单向。在模式识别及信号符号化等方面,有教师学习的模型应用比较广泛,特别是反向传播,由于其数学上的明确性和优良的特性而受到了极大的关注。无教师学习的模型则尤其适用于数据的预处理和控制过程当中相互结合型神经网络信号的流向是双向的,适用于联想存储和优化问题的解法。表1.2给出了各种神经网络及其特征。注3.1本书将在第2章和第3章中分别详细叙述层次型神经网络和互联型神经网络表1.2各种神经网络及其特征网络名称应用注意点特征霍普菲耳德网络·联想存储模型·记忆容量比较小·面向vLSI·辅助元双向联想存储·联想存储模型·记忆容量比较小|·可组合诸多存储(BAM)项目多向联想存储·面向vLSI(MAM)应用弛豫法的·联想存储·需要学习·记忆容量比较大BAM和MAM·情景存储可组合诸多存储项目面向LSI玻尔兹曼机·组合优化问题学习时间非常长·面向vLS·模式识别平均场理论学习机·组合优化问题学习时间比较长·面向LSI简化的玻尔兹曼机)·模式识别·反向传播·模式识别·需要很多输人输|·代表性神经网络出数据RBF网络(径向·模式识别需要很多输入输·学习速度快基底函数网络)出数据·对深层次问题不适用·自组织化映射输人数据的聚类·需要很多学习·有生理学依据·特征提取续表1.2网络名称应用注意点特征学习向量量子化·模式识别对深层次问题不·计算量不大向量量子化适用◆模糊ART映射模式识别结构复杂特性很好Neocognitorn·手写文字识别·网络规模大·不受文字大小和回转的影响1.1.8神经网络的特征神经网络具有以下所述的显著特征,因此其领域必将有更进一步的扩展。(1)学习能力把输入数据和与之对应的输出数据提供给网络,就可以断定其输入输出关系,而且可以针对不同的应用环境,使网络进行学习,通过学习可以使网络变得更加聪明(2)抗故障性一般的系统,即使存在一点点缺陷,也很容易发生较大的故障,或者导致特性大幅度衰减,而对于神经网络,缺陷只造成很细微的特性变化;(3)集成性由于神经网络是由比较简单的神经元组合构成的,非常适合于VISⅠ等的集成化1(4)并行性神经网络主要是进行并行处理,这样就可以很容易地实现高速化处理;(5)连贯信息表示神经网络用数个神经元的激活模式表示信,因而对于过去的人工智能难以表示的连贯信息及联想也都可以表(6〕与脑的类似性由于与生物体的脑具有很高的相似性,随着生理学等的不断进步,也必将会使神经网络具有更广阔的发展前景。1.1.9神经网络应用举例表1.3列出了一些神经网络的应用例子1)参看本系列书中的《VLSI与数字信号处理》一书。10