[模式识别]第4版.(希腊)西奥多里蒂斯

译者序 模式识别诞生于20世纪20年代,随着20世纪40年代计算机的出现,20卅纪50年代人工智 能的兴起,模式识别在20世纪60年代初迅速发展戍一门学科。模式识别研究的理论和方法在很多 地方得到了成功的应用,从最初的光学字符识別(OCR),扩展到笔输入计算机、生物身份认证 DNA序列分析、化学气味识别、药物分子识别、图像理解、人脸辨识、表情识别、手势识别、语 音识别、说话人识别、信息检索、数据挖掘和信号处理等。 尽管如此,与生物认知系统相比,模式识别系统的识别能力和魯棒性还远不能让人满意。模式 识别还有许多的基础理论和基本方法等待人们解决,新问题也层出不穷。为此,相关人员很需要 本关于这一领域的高水平学术著作,它既有基础知识的介绍,还有本领域研究现状的介绍,以及未 来发展的展望等。本书正是这样一本经典著作 本书是在第一版的基础上,于2003年由具有25年教学经验的资深专家、希腊雅典大学信息与 通信乐通信和信号处理专业教投SergiosTheodoridis等两人完成的。本书采用统一的方法讲述各种 模式识别方法,以及图像分析、语音处理和通信等应用。 为了适用于电子工程学、计算机T程学、计算机科学和信息、自动控制等专业的研究生,以及 高年级本科生等各种不同知识背景的学生,本书内容安排既全面,又相对独立。在各个章节中需要 的一些数学工具,如概率、统计和约束优化等知识,在本书的4个附录中做了简单的讲解。本书可 以面向大学生和研究生,可以作为一学期或两个学期的课程。本书也可以作为自学教材,或供研究 人员和工程技术人员参考。 东北大学李晶皎教授负责译校本书的第1章全第7章,朱志良教授负责译校本书的第章至 第15章,王爱侠负责译校本书的第8章至第10章、第16章以及附录A至附录D。参加初译的有东 北大学信息学院计算机专业的硕土研究生甄广启、赵骥、王蓓蕾、唐春强、冯云、何敬禹、左刚 谭光力、赵旸、刘巍等。 在翻译过程中,我们力求忠实、准确地把握原著,同时保留原著的风格。但由于译者水平有 限,书中难免有错误和不准确之处,恳请广大读者批评指正。 前言 本书是作者在20年来给研究生和个科生教学的基础上编写的,该课程面向很多专业的学生, 例如电子工程学、计算机工程学、计算机科学和信息以及自动控制等专业的研究生。这些经验使我 们得以把本书内容编写得既全面又相对独立,并且适用于各种不同知识背景的学生。读者需要具备 的知识包括基础的徵积分学、初等线性代数和概率论基础。在各个章节中需要的些数学工具,如 概率、统计和约束优化等知识,在本书的4个附录中做了简单的讲解。本书可以面向大学生和研究 生,可以作为一学期或两个学期的课程。本书也可以作为自学教材,或供研究人员和工程技术人员 参考。我们编写本书的动力之一是使这本书适合于所有从事模式识别相关研究的人员。 本书采用统一的方法讲述各种模式识别,包括图像分析、语音处理和通信应用。尽管这些领 域有很多不同点,但也有共同之处,对它们的研究也有统一的方法。本书的每一章都采用循序渐 进的讲解方式,即从基础开始过渡到比较高深的课题,最后对最新技术发表评论。在每章的末尾 都提供一些习題和上机练习,读者可以从出版商处购买解答指南。此外,读者可以从本书的网站 (www.di,uoa.gr/-stpatrec)得到一些MATLAB示例。 我们定期在网站上增加和更新示例,欢迎读者多提建议。尽管网站上的内容经过多次仔绀检 查,但有些地方还是不可避免地存在错误,欢迎读者批评指正 本书的出版离不开广大师生多年来的支持和帮助。特别感谢K.Berberidis教授、E.Kofidis博 士、A.Liayas教授、A.Rontogiannis博士、A.Pikrakis博士、〔lezerlis博士和K.eorgoulakis博土, L.Kopsinis博士自始至终都给予了莫大的支持和帮助;另外,G.Moustakides教授、V.Digalakis教 授、T.Adali教授、M.Zervakis教授、D.Cayouras教授、A.Bihm教授、G.Glentis教授、E.Koutsoupia 教授、ⅤZissimopoulos教授、A.Lkas教授、A.Vassiliou博士、N,Vassilas博土、V.Drakopoulos 博士和S.Hatzispyros博士在仔细阅读书稿后提出了许多宝贵建议,大大提高了本书的可读性。同 时,也非常感谢广大学生的付出和给予的建设性意见。非常感谢N.Kalouptsidis教授,长期以来我 们的合作和友谊是本书灵感的来源。 最后,K.Koutroumbas感谢Sphi的耐心和支持,S,Theodoridis感谢Despina、Eva和Eeni, 她们是快乐和动力的源泉 目录 第1章导论 1.1模式识别的重要性 1.2特征,特征向量和分类器 有监督和无监督模式识别 4 本书的内容安排 第2章基于贝叶斯决策理论的分类器……………………… 2.!引言 2,2贝叶斯决策理论 7 23判别图数和决策面 24正态分作的贝叶斯分类 25末知概率密度函数的估计 26近邻规则 习题 参考文献 34 第3章线性分类器 36 32线性判别函数和决策超平面 33感知器算法 37 34最小二乘法 35均方估计的回顾… 4 36支持向量机 50 习题 参考文献 第4章非线性分类器 4.1引 4.2异或问题 61 4.3两层感知器 4.4三层感知器.… 45基于训练集准确分类的算法 46反向传播算法… 47反向传播算法的改进 4.8代价函数选择 5 49神经网络的大小选择 6 4.10仿真实例 79 411具有权值共亨的网络… 4.2推广的线性分类器 413线性二分法中l维空间的容量… 4.14多项式分类崙 4.15径向基函数网终… 85 4.16通用逼近 4.17攴持向量机:非线性情况 892 48决策树 :·P··,,.·.·,国+· 4.19讨论 4 习题 参考文献 第5章特征选择 5引言 5.2预处理 106 53基于统计假设检验的特征选择 54接收机操作特性ROC曲线… l12 55类可分性测量 113 56特征子集的选择 18 57最优特征生成 ,121 58神经网络和特征生成/选择 124 59Vapnik-Chernovenkis学习理论的提示 习题 …128 参考文献… t31 第6章特征生成l:线性变换 134 6.1引言 134 62某本向量和图像 p 134 63Karhunen-loeve变换 136 64奇异值分解 65独立成分分析 66离散傅里叶变换(DFT) 146 67离散止弦和余弦变换… 149 6.8Hadamard变换, 69Har变换. 610回厦顾Har展开式 61l离散时间小波变换 6.12多分辨解释 l62 613小波包 6.14二维推广简介 615应用…… 习题 参考文献 第7章特征生成M I75 自“ 7.1引言…… …………175 7.2区城特征 175 7.3字符形状和大小的特征… 191 74分形概述 197 202 参考文献 第8章模板匹配….… 209 81引言 82基于最优路径搜索技术的测度 83甚于相关的测度… 219 84可变形的模板模型∴… 222 习题 参考文献 26 第9章上下文相关分类 91引言…,…… ··m 92贝叶斯分类器 93马尔可夫链模型 94Viterbi算法 95信道均衡… 231 96隐马尔可大模型 234 97用神经网络训练马尔可夫模型 98马尔可夫随机域的讨论 243 习题 11245 参考文献 245 第10章系统评价 250 10.1引言… 250 10.2误差计算方法 250 103探讨有限数据集的大小 10.4医学图像实例研究 习题… 参考文献 255 第11章聚类:基本概念…. ,身 57 11.1引 1.2近邻测度 261 习题 参考文献 27 第12章聚类算法l:顺序算法 278 278 12.2聚类算法的种类 123顺序聚类算法… 280 124BSAS的改进 125两个阈值的顺序方案 126改进阶段 285 12.7神经网络的实现 习题 参考文献 第13章聚类算法|:层次算法 92 13.1引言 13.2合并算法 292 13.3Cophenetic矩阵 309 134分裂算法 135最佳聚类数的选择 习题 313 参考文献 看导身上垂布是,, 即上,d 314 第14章聚类算法田:基于函数最优方法 4自音 317 141引言 317 142混合分解方法… 318 14.3模糊聚类算法∴… 首晋· 144可能性聚类 14.5硬聚类算法 ,即甲·,卓1 343 14.6向量量化 ··F中自·是·+a中aa; 346 习题 350 参考文献 第15章聚类算法V.… 354 151引言 354 152基于图论的聚类算法 153竞争学习算法 359 154分支和有界聚类算法 ,364 15.5值形态聚类算法 366 156边界检测算法. 15.7谷点搜索聚类算法 15.8通过代价最优聚类(回顾 1376 159用遗传算法聚类 378 15.10其他聚类算法 习题 380 参考文献… 第16章聚类有效性 161引言 16,2假设检验回顾 l63聚类有效性中的假设检验 164相关的准则… 395 16.5单聚类有效性 16.6聚类趋势 习题 414 参考文献 415 附录A概率论和统计学的相关知识 420 A1全概率公式和贝叶斯准则 ,420 A.2均值和方差 420 A3统计的独立性 420 A4特征函数 421 A5矩和累积量 来音·P:自 A.6概率密度函数的Edgeworth展开式 422 A.7Kullback-Leibler距离… 423 A.8多元高斯概率密度函数或正态概率密度函数 …423 A9Cramer-Rao下界 ·, 424 A.10中心极限定理… A.l1x2分布 A.12t分布 426 A.13Beta分布 427 A14泊松分布…… 参考文献 427 附录B线性代数基础 428 B1正定矩阵和对称矩阵 428 B2相关矩阵的对角化…… …429 附录C代价函数的优化… 430 C1梯度下降算法… C2牛顿算法 432 C.3共轭梯度法. 433 C4对约束问题的优化… 非曲:14即 433 参考文献 441 附录D线性系统理论的基本定义………………… 442 1).I线性时不变(LTI)系统 D.2变换函数 43 D3串联和并联 443 D4:维空问上的推广 0