《现代模式识别》 孙即祥

http://www.pris.edu.cn 内容筒介 本书系统深入地论述了模式识别的理论与方法,铰全面地反映∫本学科的新近科技成果。全书共 12章,讨论的主流模式识别技术是:统计模式识别、模糊模式识别、神经网终技术、人工智能方法、句法 模式识别。第一章为引论,第二章至第七章介绍的统计模式识别包括聚类分析、判别域代数界面方程 法统计洲决、训练学习与错误率估计特征提取与选择以及最近邻法,第十“章信息融合集中论述识别 与诀簧中的有关融合技术,第十二章人工智能方法侧重讨论不确定推理,其他类型识别方法在其余各章 分别介绍。 本书可供电子科学与技术、信息与通信工程、控制科学与工程、计算机科学与技术及其他领域的有 关专业利研窕方向的研究生本科高年级学生作为关于信息分析、检测、识别的教材或教学参考书,也可 以供相关专业的科研人员工作中参考。 图书在版编目P}数据 现代模式识别小孙即祥编著.一长粆:国防科技大学出版社,2001.5 ISBN7-81024-6054 工.现...II,孙...III.模式识别F.0235 中国版本图书馆CIP数据核字(199)第57548号 国防科技大学出版社出版发行 电话:(0731)4572640邮政编码:410073 E-mail: gfkdcbs@public 责任繃辑:潘生唐卫威 新华书店总店北京发行师经销 国防科枝大学印刷厂印装 开本:787×10921/16邱张:29.5字数:682千 2002年1月第1版第1次印刷印数:1-4000册 定价:3600元 序 随着社会发展的需要和科技的不断进步,可以断言,未来的人 造系统或产品的显著特点之一是智能化,模式识别正是研究人类识 别机理和实现识别功能的科学,它是由数学、控理论、信息处理、 计算机技术、生物生理学和心理学等等多门理学和工学学科相互交 叉融合而产生的。现在已形成了内涵丰富的理论体系,产生了一系 列有效的技术手段,并已广泛地应用于诸多领域,产生了巨大的效 益。它是一门发展非常活跃的学科,新的理论、技术、方法和新应 层出不穷。自它诞生之日起,就引起了国内外各领域专家、学者的 高度重视,吸引了众多科技人员投入极大的研究和应用热情 孙即祥教授根据多年的教学经验和科研成果,撰写了这本既面 向高校教学使用又适用于科研参考的优秀著作。该书蕴含的充实、 严谨的基础性理论,有助于学生打下坚实的理论功底,同时书中介 绍的一般性和较新的模式识别技术又为广大读者提供了广泛的解 决实际问题的思路和方法。相信此书必将为模式识别的教学和相 关科研工作的发展起到一定的促进和推动作用。 2002年1月 前 分类识别是人类最重要的基本活动之一,在人类的日常生活、社会活动、科研生产以 及学习、工作中无时无处不在进行着分类识别。模式识别是研宪分类识别理论和方法的 科学是一门综合性、交叉性学科。在理论上它涉及代数学、矩阵论、概率论、图论、模糊数 学、最优化理论等等众多学科的知识,在应用上又与其他许多领域的工程技术密切相关, 其内涵可以概括为信息处理、分析与决策,它既是人工智能研究领域的重要分支,又是实 现机器智能必不可少的技术手段。该学科的理论任务是运用一切相关科技研发分类识别 的理论和方法,而其应用自标是创造能进行分类识别决策的智能机器系统以代人类的 分类识别工作。自80年代以来,它始终受到学术和各应用领域的极大重视,计算机软 硬件技犬的臻成熟及其他相关学科的迅速发展更使它成为理论研究和技术开发的热门 学科,其重要的学术价值和广泛的应用范围使得人们越来越认识到该课程的重要性,也吸 引了各领域的科研人员投入极高的学习热情。近十几年来,与模式识别相关的理论专著 论文、科砑成果层出不穷,使得该学科得以丰富和发展,形成了许多大类的模式识别理论、 方法。但是现在多数著作只涉及一至两类模式识别知识的介绍,多学科、多视角、多层次 地介细该学科知识的著作不多,能兼顾教学使用和科研参考的高咬教材也较少,因此有必 要将该学科涉及到的基本理论、基本方法原理以及当代发展成熟的理论技术进行沉淀、提 陈归纳整合,让读者能较系统地掌握本学科的理论精髓较全面地∫解和掌握相关技 术,这也正是我们撰写本书的初衷和希望本书能实现的目标。 本书是一本关于模式识别理论和方法的著作,是在原研究生课程洴义基础上结合该 课程多年教学实践经验及相关的科研成果,并参考了大量的著作及科技文献,依据科研需 要和学科发展趋势撰写、扩充而成的,它是我们已出版的《数字图象处理》及《模式识别中 旳特祇提取与计算机枧觉不变量的姊妹篇。在本书的撰写过程中我们遵循以下三个原 则:(1)在结构安排上与该学科本身的知识体系相一致;(2)在内容阐述上遵循人的认知规 律;(3)在选材上满足使读者掌握经典和现代的重要学科知识以及能汇入学科发展潮流的 较高的教学目标。具体地讲本书具有下述的特点 、内容广泛新颖。模式识别是一门非常活跃的学科,新理论新方法不断涌现,本书 除了包含必须讲授的传统经典的重要内容之外,还收入了经实践证明有较大现实意义和 广阔前景的新理论、新技术和新方法。本书包括统计模式识别、模糊模式识别、神经网络 技术、信息融合技术、人工智能方法及句法模式识别。本书涵盖面大、内容多,不仅有利于 不同专业的教师、学生在教学时灵活选择,也能满足课堂讲授信息量大的教学要求。需要 指出的是,本书某些内容超出了当前教学大纲,内容具有“超前量”,既能开托读者的视野 和知识面,提高读者深入学习的兴趣,还能适应教学发展的需要,同时也为科研工作提供 现代模式识别 较广泛的解决实际问题思路和手段 、结构清晰合埋。学科知识的组织纳构香得当将直接影读者的学习效果,合理 清晰的学科知识表述体系有益于读者对各种理论、方法的理解和记忆。本书在内容组织 主呈现层次化、模块化,全书及各章节都是由浅入淋、先易后难、先具体后抽象来安排的 例如,将铰简单直观的聚类分杬、判别域代数界画浤敚在全书的前部,其后才是较抽象的 统计识别理论、方法;模糊识號方法放在统计识别方法之后,囚为模糊识别方法中的一些 识别策略及具体法与统汁方法中的某些内谷在形式上是类似的,这样有利于读者既能 区分两者概念原理的不同,又能掌握两者方法形式上的联系。另外,本书虽然主要是为研 究生撰写的,但也兼顾到了其他层面的读者,处理好“合”与“分”的统-,本书的前部及各 章的前部可用于本科生高年级有关专业教学使用,同时全书也适用于不同层面的从事相 关科研的技术人员工作中参考。 三注重基础。打妤基础是教育经验的总结,也是科技高速发展的需要,本书至始至 终都非常注意强化基本概念、基础理论、基本方法。尽管与同类的其它教材相比本书增加 了很多新的内容,但本书力求“新”与“恒”的统一,两者统一在知识的价值上。因为“新”总 是相对的,事物本质的性质和规律是最有魅力的,最基本的最有用的知识是最有意义的, 从丽也是长久的。只有掌握了基础的本质的知识,读者才能在日后的学习和科研中有“后 劲”,能持续进步,能在浩瀚的知识(或文献}海洋中畅游,能应对科技发展日新月异的挑 战,能以“不变”应“万变”。也就是说本书的内容是柑对稳定的 四注重讲“理”。为使读者真正学握学科本身的知识和解决问题的方法,本书在阐明 知识时注重不仅讲其然,还要讲其所以然,而不单纯是-些定理、结论“条目”的简单罗列。 在此注意理论严密性与表述浅显性的统一。由于模式识别这门课程与许多数学理论密切 相关,所以本书对于较经典的普遍性的内容尽量挖掘其理论深度;配对于涉及较深奥理论 的部分则尽t用平实、直白的语言论述,避免因不必要的复杂推导使读者忽视基本概念及 学术思想2 五、详略得当。本力求实现一种平衡”,对于与当代较新模式识别理论技术有关的 章节,在选材和内容撰写上兼顾谈深说透与点到为止的平衡模式识别中的某些知识要谈 深说透,某些知识则点到为止;在...些内容讨论过程中,关键问题论述清楚,一般问题一带 而过。这样使其既有一筵的理论滦度,又不使读者感到晦涩难懂,既保持一定的知识面, 又不泛泛空洞,在此基础上,通过读者自行“知识内播”,就可以产生巨大的“知识体”。 以上努力的目的在F让读者对知识能深刻埋解、融会贯通、牢固记忆、全面掌握,花费 较少的代价而学到较多有价值和有意义的知识;在学到知识的同时,提高自学能力活用 能力(能灵活运用学到的知识解决实际问题)和开拓创新的能力,总之,有益于该者综合素 质的提离。 同样基于强化基础的思想,为了加深对正文的理解,在前部一些章节中我们给出了 些例题随着学习的深入、水平的提高,更由于篇幅的限制,后部分则尽量在正文中详细清 楚论述知识而减少例题 与模式识别直接密切相关或者说作为其先导课程的是:概率论与数理统计、矩阵论、 最优化理论与方法、模糊数学、形式语言、人匚智能原理、计算机软件设计等等。对于某些 前言 ,, 读者来讲,不可能也可以不必花费大量的精力和时间去学完上述母门课程,由于前述的本 书结构、逃材及论述的特点,读者只要具备一些必要的理论基础和相关基本知识便可以顺 利地学完每-章的主要内容。对于希望深入学习、进行学术理论研究或从事技术应用研 究的读者,应先行修完上述课程,并在学习该课程时根据本书提供的参考文献参图其他相 关的科技资料 本书的第一章至第八章由孙即祥撰写,第九章由孙即禅和史慧敏合作撰写,第十章由 孙即祥和王宏强合作撰写,第一章由孙即祥与刘雨张帆合写,第十二章由孙即祥与张 忛合作撰写。对于第章到第八章,上述各作者提供了不少有益的建议,早期的撰写过程 中,也得到∫高育林副教授的有益帮助。最后全书由孙即祥统槁 木书的内容除了包含我们的某些科研成果之外,还取材于国内外诸多专家学者的研 究成果、论文著作,对他们以及我们的研究生表示由衷的感谢。对潘生编辑等的辛勤工作 也表示极大的感谢 由于模式识别是一门不断发展的学科,新的理论方法和技术、新的应用领域不断涌 现,再加上我们的学识水平及时间有限,可能没有完全达到我们所希望的目标,也不可避 免地存在各种错误和疏漏,敬请读者给予批评指正。 孙即样 2001年10月 http://www.pris.edu.cn 目录 第一章引论 1.1概论 1.2特征矢量和特征空间 1.3随机矢量的描述 5) 1.4态分布 参考文献 ...(12) 第二章聚类分析 2.1聚类分析的概念......... .........(13) 2.2模式相似性测篾... 鲁鲁鲁音甲P 2.3类的定义与类同距离 (19) 2.4聚类的算法... ......(25) 可题 (44) 参考文献 q甲B (45 第三章判别域代数界面方程法 3,1用判别域界面方程分类的概念...... .........(46) 3.2线性判别函数... ........................(47) 3.3判别燃数值的鉴别意义、权空间及解空间... ..................(51) 3.4 Fishe线性判别 (53) 3.5一次准则函数及梯度下降法............ (57) 3.6二次准则函数及其解法 (62) 3,7线性规划方法... (69 38线性二分能力( Linear dichotomies) (70) 3.9广义线性判别函数 3.10二次判别函数... 甲■■甲■■卩■■■■■ ...............(75) 3.11分段线性判别函数 (77) 3.12位势函数分类法 (85) 习题 (89) 参考文就 .........(89) 第四章统计判决 4.1最小误判概率准则判决............... (91) http://www.pris.edu.cn 目录 4.2量小掼失则判决... ·+断+ (106) 4.3最小最大损失准则判决 (114) 4N-P( Neyman-Pearson)判决 (117) 4.5序贯判决 會中自日日q『14中■P ............(119) 4.6 Fisher准则判决... (124) 习题 (125) 参考文献 ...............(127) 第五章统计决策中的训练、学习与镨误率测试、估计 统计推断概述 (128) 5.2参数估计... 中甲甲 〔129) 5.3贝叶斯学习 133) 5.4概率密度的窗网数估计法及k近邻法 ............(134) 5,5有限项止交函数级数逼近法 ......(141) 5.6用位势函数法週近贝叶斯判决函数........................... (145 7随机近方法求类的后验概率 I48 58统计决策准则下线性判决函数的训练生成 (152 59错误率测试 ......(158) 5.10平均损失及最小误判概率的估计方法... 163) S.11经验风险设计 自管十旨 .........s.........(165) 习题 晋卜■晋■ 170) 参考文献 .........(171) 第六章最近邻方法 6.1最近邻法 (172) 6.2剪辑最近邻法 .....................(178) 6.3引入拒绝决策的最近邻法 卩卩甲■罩口甲山p (183) 6.4最近邻法中的最佳距离及其实际计算 (184) 习题... ..................(188) 参考文献 (189) 第七章特征提取与选择 7,1概述 190 7.2类别可分性判据 (191 7.3基于可分性判据进行变换的特征提取与选择 ...(201 7.4最佳鉴别矢量的提取... (213〕 7.5离散K-L变换及其在特征提取与选择中的应用 .........(216) 7.6基于决策界的特征提取 227) http://www.pris.edu.cn 现代棋式识别 7.7持征选择中的直接挑选法 aa:aad::a+加+ ............(234) (240) 参考文献 (241) 第八章模糊模式识别 8.1引言 (243) 8.2普通集合与模糊集合 :=p4pb4甲:●=甲·4甲、4 ∴.....................(243 8.3普通集合中的关系及有关知识 (253) 8.4模糊关系与模糊变换 .........(256) 8.5模糊度与特征提取和选择 L■■【甲啁 (260) 8.6模糊识别的基本方法 .........(263) 习题......... 275) 参考文献 (27) 第九章神经网络在模式识别中的应用 9.1人工神经网络的基本知识 (278) 9.2前向型人工神经网络...- ...(282) 9.3BP网的结构性能和学习改进... (288) 94 Hopfield网络 ......(299) 9.5随机神经网络... (308) 9.6自适应共振理论神经网络 血t日■■■■血t■ (317) 97曾组织特征映射神经冈络 ............(320) 9.8模糊神经网络... 324) 习题 P·■?P曾4■■甲卜b如番 聊甲p ........................(328) 参考文献 (329) 第十章信息融合 10.1概述 卩甲_●pp电血血■ 早·早··早平P14早?t (330) 10.2融合技术的层次性及融合系统的功能模块和结构 (331) 10.3关于信息融合的熵理论 (337) 10.4观不相关的分布式最小损失准则下的检测与决策融合............(341 10.5观测相关的决策融合.................................(347) 10.6N-P准则下的数据融合 (352) 10.7分布式检测决策融合的全局最优概述及某些约束条件下的最优解......(354) 10.8D-S证裾理论融合算法 ...(358) 参考文献 ...(365)