智能科学与技术丛书:模式识别_PDF下载[43MB-百度云]吴建鑫

本书特色

[

本书是模式识别领域的入门教材，系统阐述了模式识别中的基础知识、主要模型及热门应用，并给出了近年来本领域一些新的成果和观点；通过理论学习和动手实践相结合的形式使初学者能有效入门，并培养独立解决任务的能力，为模式识别的项目开发及相关科研活动打好基础.
全书共15章，大致分为五部分：*部分（第1~4章）介绍了本书的概论和基础知识，包括绪论、数学背景知识、模式识别系统概述以及评估；第二部分（第5~6章）介绍了与领域知识无关的特征提取，包括主成分分析和Fisher线性判别；第三部分（第7~10章）介绍了分类器与其他工具，包括支持向量机、概率方法、距离度量与数据变换、信息论和决策树；第四部分（第11~12章）介绍了如何处理变化多端的数据，包括稀疏数据和未对齐数据、隐马尔可夫模型；第五部分（第13~15章）介绍了一些高阶课题，包括正态分布、EM算法和卷积神经网络.
本书可作为高等院校人工智能、计算机、自动化、电子和通信等相关专业研究生或本科生的教材，也可供人工智能、计算机、自动化、电子和通信等领域研究人员和工程技术人员参考.

]

内容简介

[

(1）近年来，随着人工智能技术的快速发展和应用，国内外很多重点院校已经或正在成立人工智能学院/研究院或者人工智能专业，模式识别是其中的核心课程。现有的模式识别课程教材内容相对比较陈旧，未能包括模式识别领域的新知识和技术，如各种深度学习框架、端到端学习、软硬件结合等。
（2）为了适应当前模式识别方法与系统的新特性，南京大学计算机科学与技术系吴建鑫教授潜心6年时间写作了这本全新的模式识别课程入门教材，注重从四个方面（强调可读、注重实践、拓广视野、培养能力）培养学生培养独立解决任务的能力，为模式识别的项目开发及相关科研活动打好基础.
（3）本书作者吴建鑫现为南京大学计算机系教授、博导，机器学习与数据挖掘研究所（LAMDA）核心成员，同时他还入选国家青年千人计划，获得国家自然科学基金委员会优秀青年科学基金支持，是模式识别与计算机视觉领域非常杰出的青年学者。2013年回国加入南京大学计算机系一直主讲模式识别课程，本书根据他这些年的课程讲义和科研实践，全部习题由作者自己设计，英文版即将由剑桥大学出版社出版。本书的正式出版将有望弥补目前模式识别课程教材内容陈旧、未能结合AI领域新技术的不足，更好地助力人工智能专业建设和人才培养。

]

作者简介

[

吴建鑫
南京大学计算机科学与技术系教授、博士生导师，入选中组部青年海外高层次人才引进计划（青年千人计划），2014年获得国家自然科学基金委优秀青年科学基金项目支持. 同时，担任Minieye首席科学家（minieye.cc）. 主要从事计算机视觉和机器学习等领域的研究. 在重要国际期刊如TPAMI、IJCV、AIJ、JMLR等以及重要国际会议如ICCV、CVPR、ICML等发表论文六十余篇. 曾担任国际会议ICCV、AAAI、CVPR等领域主席。发表论文被60余个国家和地区的学者引用7000余次.

]

前言符号表 **部分概述……………………………………………………………….1第1章绪论…………………………………………………………………..21.1样例:自动驾驶…………………………………………………………31.2模式识别与机器学习…………………………………………………….51.2.1一个典型的模式识别流程……………………………………………..51.2.2模式识别vs.机器学习……………………………………………….81.2.3评估、部署和细化…………………………………………………..91.3本书的结构…………………………………………………………….9习题………………………………………………………………………12第2章数学背景知识…………………………………………………………142.1线性代数……………………………………………………………..142.1.1内积、范数、距离和正交性…………………………………………..142.1.2角度与不等式……………………………………………………..152.1.3向量投影…………………………………………………………162.1.4矩阵基础…………………………………………………………172.1.5矩阵乘法…………………………………………………………182.1.6方阵的行列式与逆………………………………………………….192.1.7方阵的特征值、特征向量、秩和迹……………………………………..202.1.8奇异值分解……………………………………………………….222.1.9(半)正定实对称矩阵……………………………………………….222.2概率………………………………………………………………….232.2.1基础…………………………………………………………….232.2.2联合分布、条件分布与贝叶斯定理……………………………………..252.2.3期望与方差/协方差矩阵……………………………………………..262.2.4不等式…………………………………………………………..272.2.5独立性与相关性……………………………………………………282.2.6正态分布…………………………………………………………292.3优化与矩阵微积分……………………………………………………..302.3.1局部极小、必要条件和矩阵微积分……………………………………..302.3.2凸优化与凹优化……………………………………………………312.3.3约束优化和拉格朗日乘子法………………………………………….332.4算法复杂度……………………………………………………………342.5阅读材料……………………………………………………………..35习题………………………………………………………………………35第3章模式识别系统概述…………………………………………………….393.1人脸识别……………………………………………………………..393.2一个简单的*近邻分类器……………………………………………….403.2.1训练或学习……………………………………………………….403.2.2测试或预测……………………………………………………….403.2.3*近邻分类器……………………………………………………..413.2.4k-近邻…………………………………………………………..423.3丑陋的细节……………………………………………………………433.4制定假设并化简……………………………………………………….463.4.1设计工作环境vs.设计复杂算法………………………………………463.4.2假设与简化……………………………………………………….473.5一种框架……………………………………………………………..513.6阅读材料……………………………………………………………..51习题………………………………………………………………………53第4章评估………………………………………………………………….554.1简单情形中的准确率和错误率…………………………………………..554.1.1训练与测试误差……………………………………………………564.1.2过拟合与欠拟合……………………………………………………564.1.3使用验证集来选择超参数……………………………………………584.1.4交叉验证…………………………………………………………594.2*小化代价/损失………………………………………………………614.2.1正则化…………………………………………………………..624.2.2代价矩阵…………………………………………………………624.2.3贝叶斯决策理论……………………………………………………634.3不平衡问题中的评估……………………………………………………644.3.1单个类别内的比率………………………………………………….644.3.2ROC曲线下的面积…………………………………………………654.3.3查准率、查全率和F值……………………………………………..664.4我们能达到100％的准确率吗?…………………………………………..684.4.1贝叶斯错误率……………………………………………………..684.4.2真实标记…………………………………………………………694.4.3偏置-方差分解…………………………………………………….704.5对评估结果的信心……………………………………………………..734.5.1为什么要取平均?…………………………………………………..734.5.2为什么要报告样本标准差?…………………………………………..744.5.3比较两个分类器……………………………………………………754.6阅读材料……………………………………………………………..79习题………………………………………………………………………79第二部分与领域知识无关的特征提取………………………………………83第5章主成分分析……………………………………………………………845.1动机………………………………………………………………….845.1.1维度与内在维度……………………………………………………845.1.2降维…………………………………………………………….865.1.3PCA与子空间方法…………………………………………………865.2PCA降维到零维子空间………………………………………………..865.2.1想法-形式化-优化实践………………………………………………875.2.2一个简单的优化……………………………………………………875.2.3一些注释…………………………………………………………885.3PCA降维到一维子空间………………………………………………..885.3.1新的形式化……………………………………………………….885.3.2*优性条件与化简………………………………………………….895.3.3与特征分解的联系………………………………………………….905.3.4解………………………………………………………………915.4PCA投影到更多维度…………………………………………………..915.5完整的PCA算法………………………………………………………925.6方差的分析……………………………………………………………935.6.1从*大化方差出发的PCA…………………………………………..945.6.2一种更简单的推导………………………………………………….955.6.3我们需要多少维度呢?……………………………………………….955.7什么时候使用或不用PCA呢?…………………………………………..965.7.1高斯数据的PCA………………………………………………….965.7.2非高斯数据的PCA………………………………………………..965.7.3含异常点数据的PCA………………………………………………985.8白化变换……………………………………………………………..985.9特征分解vs.SVD……………………………………………………..985.10阅读材料…………………………………………………………….99习题………………………………………………………………………99第6章Fisher线性判别……………………………………………………..1036.1用于二分类的FLD…………………………………………………..1046.1.1想法:什么是隔得很远呢?…………………………………………..1046.1.2翻译成数学语言…………………………………………………..1056.1.3散度矩阵vs.协方差矩阵…………………………………………..1076.1.4两种散度矩阵以及FLD的目标函数………………………………….1086.1.5优化……………………………………………………………1086.1.6等等,我们有一条捷径……………………………………………..1096.1.7二分类问题的FLD……………………………………………….1096.1.8陷阱:要是SW不可逆呢?…………………………………………..1106.2用于多类的FLD……………………………………………………..1116.2.1稍加修改的符号和SW…………………………………………….1116.2.2SB的候选……………………………………………………….1116.2.3三个散度矩阵的故事……………………………………………….1126.2.4解……………………………………………………………..1136.2.5找到更多投影方向…………………………………………………1136.3阅读材料…………………………………………………………….113习题……………………………………………………………………..114第三部分分类器与其他工具……………………………………………….119第7章支持向量机………………………………………………………….1207.1SVM的关键思想……………………………………………………..1207.1.1简化它!简化它!简化它!…………………………………………..1207.1.2查找*大（或较大）间隔的分类器…………………………………….1217.2可视化并计算间隔…………………………………………………….1227.2.1几何的可视化…………………………………………………….1237.2.2将间隔作为优化来计算…………………………………………….1247.3*大化间隔…………………………………………………………..1247.3.1形式化………………………………………………………….1257.3.2各种简化………………………………………………………..1257.4优化与求解…………………………………………………………..1277.4.1拉格朗日函数与KKT条件…………………………………………1277.4.2SVM的对偶形式………………………………………………….1287.4.3*优的b值与支持向量…………………………………………….1297.4.4同时考虑原始形式与对偶形式……………………………………….1317.5向线性不可分问题和多类问题的扩展……………………………………1317.5.1不可分问题的线性分类器…………………………………………..1327.5.2多类SVM………………………………………………………1347.6核SVM……………………………………………………………..1347.6.1核技巧………………………………………………………….1357.6.2Mercer条件与特征映射…………………………………………….1367.6.3流行的核函数与超参数…………………………………………….1377.6.4SVM的复杂度、权衡及其他………………………………………..1387.7阅读材料…………………………………………………………….139习题……………………………………………………………………..139第8章概率方法…………………………………………………………….1448.1思考问题的概率路线………………………………………………….1448.1.1术语……………………………………………………………1448.1.2分布与推断………………………………………………………1458.1.3贝叶斯定理………………………………………………………1458.2各种选择…………………………………………………………….1468.2.1生成式模型vs.判别式模型…………………………………………1468.2.2参数化vs.非参数化……………………………………………….1478.2.3该如何看待一个参数呢?……………………………………………1488.3参数化估计…………………………………………………………..1488.3.1*大似然………………………………………………………..1488.3.2*大后验………………………………………………………..1508.3.3贝叶斯………………………………………………………….1518.4非参数化估计…………………………………………………………1538.4.1一个一维的例子…………………………………………………..1538.4.2直方图近似中存在的问题…………………………………………..1558.4.3让你的样本无远弗届……………………………………………….1568.4.4核密度估计………………………………………………………1578.4.5带宽选择………………………………………………………..1588.4.6多变量KDE…………………………………………………….1588.5做出决策…………………………………………………………….1598.6阅读材料…………………………………………………………….159习题……………………………………………………………………..160第9章距离度量与数据变换………………………………………………….1639.1距离度量和相似度度量………………………………………………..1639.1.1距离度量………………………………………………………..1649.1.2向量范数和度量…………………………………………………..1649.1.3lp范数和lp度量…………………………………………………1659.1.4距离度量学习…………………………………………………….1679.1.5均值作为一种相似度度量…………………………………………..1689.1.6幂平均核………………………………………………………..1709.2数据变换和规范化…………………………………………………….1719.2.1线性回归………………………………………………………..1729.2.2特征规范化………………………………………………………1739.2.3数据变换………………………………………………………..1759.3阅读材料…………………………………………………………….177习题……………………………………………………………………..177第10章信息论和决策树…………………………………………………….18210.1前缀码和霍夫曼树……………………………………………………18210.2信息论基础………………………………………………………….18310.2.1熵和不确定性…………………………………………………..18410.2.2联合和条件熵…………………………………………………..18410.2.3互信息和相对熵…………………………………………………18510.2.4一些不等式…………………………………………………….18610.2.5离散分布的熵…………………………………………………..18710.3连续分布的信息论……………………………………………………18710.3.1微分熵………………………………………………………..18810.3.2多元高斯分布的熵………………………………………………18910.3.3高斯分布是*大熵分布…………………………………………..19110.4机器学习和模式识别中的信息论………………………………………19210.4.1*大熵………………………………………………………..19210.4.2*小交叉熵…………………………………………………….19310.4.3特征选择………………………………………………………19410.5决策树………………………………………………………………19510.5.1异或问题及其决策树模型…………………………………………19510.5.2基于信息增益的结点划分…………………………………………19710.6阅读材料……………………………………………………………198习题……………………………………………………………………..199第四部分处理变化多端的数据…………………………………………….203第11章稀疏数据和未对齐数据………………………………………………20411.1稀疏机器学习……………………………………………………….20411.1.1稀疏PCA?……………………………………………………20411.1.2使用l1范数诱导稀疏性………………………………………….20511.1.3使用过完备的字典………………………………………………20811.1.4其他一些相关的话题…………………………………………….21011.2动态时间规整……………………………………………………….21211.2.1未对齐的时序数据………………………………………………21211.2.2思路（或准则）…………………………………………………21311.2.3可视化和形式化…………………………………………………21411.2.4动态规划………………………………………………………21511.3阅读材料……………………………………………………………218习题……………………………………………………………………..218第12章隐马尔可夫模型…………………………………………………….22212.1时序数据与马尔可夫性质……………………………………………..22212.1.1各种各样的时序数据和模型……………………………………….22212.1.2马尔可夫性质…………………………………………………..22412.1.3离散时间马尔可夫链…………………………………………….22512.1.4隐马尔可夫模型…………………………………………………22712.2HMM学习中的三个基本问题…………………………………………22812.3α、β和评估问题…………………………………………………….22912.3.1前向变量和算法…………………………………………………23012.3.2后向变量和算法…………………………………………………23112.4γ、δ、ψ和解码问题………………………………………………….23412.4.1γ和独立解码的*优状态…………………………………………23412.4.2δ、ψ和联合解码的*优状态………………………………………23512.5ξ和HMM参数的学习……………………………………………….23712.5.1Baum-Welch:以期望比例来更新?…………………………………23812.5.2如何计算ξ…………………………………………………….23812.6阅读材料……………………………………………………………240习题……………………………………………………………………..241第五部分高阶课题………………………………………………………..245第13章正态分布……………………………………………………………24613.1定义………………………………………………………………..24613.1.1单变量正态分布…………………………………………………24613.1.2多元正态分布…………………………………………………..24713.2符号和参数化形式……………………………………………………24813.3线性运算与求和……………………………………………………..24913.3.1单变量的情形…………………………………………………..24913.3.2多变量的情形…………………………………………………..25013.4几何和马氏距离……………………………………………………..25113.5条件作用……………………………………………………………25213.6高斯分布的乘积……………………………………………………..25313.7应用Ⅰ:参数估计……………………………………………………25413.7.1*大似然估计…………………………………………………..25413.7.2贝叶斯参数估计…………………………………………………25513.8应用Ⅱ:卡尔曼滤波………………………………………………….25613.8.1模型………………………………………………………….25613.8.2估计………………………………………………………….25713.9在本章中有用的数学…………………………………………………25813.9.1高斯积分………………………………………………………25813.9.2特征函数………………………………………………………25913.9.3舒尔补&矩阵求逆引理………………………………………….26013.9.4向量和矩阵导数…………………………………………………262习题……………………………………………………………………..263第14章EM算法的基本思想………………………………………………..26614.1GMM:一个工作实例…………………………………………………26614.1.1高斯混合模型…………………………………………………..26614.1.2基于隐变量的诠释………………………………………………26714.1.3假若我们能观测到隐变量,那会怎样?………………………………..26814.1.4我们可以模仿先知吗?……………………………………………26914.2EM算法的非正式描述……………………………………………….27014.3期望*大化算法……………………………………………………..27014.3.1联合非凹的不完整数据对数似然……………………………………27114.3.2(可能是)凹的完整数据对数似然……………………………………27114.3.3通用EM的推导………………………………………………..27214.3.4E步和M步…………………………………………………..27414.3.5EM算法………………………………………………………27514.3.6EM能收敛吗?………………………………………………….27514.4EM用于GMM……………………………………………………..27614.5阅读材料……………………………………………………………279习题……………………………………………………………………..279第15章卷积神经网络……………………………………………………….28115.1预备知识……………………………………………………………28115.1.1张量和向量化…………………………………………………..28215.1.2向量微积分和链式法则…………………………………………..28315.2CNN概览…………………………………………………………..28315.2.1结构………………………………………………………….28315.2.2前向运行………………………………………………………28515.2.3随机梯度下降…………………………………………………..28515.2.4误差反向传播…………………………………………………..28615.3层的输入、输出和符号……………………………………………….28715.4ReLU层…………………………………………………………….28815.5卷积层………………………………………………………………29015.5.1什么是卷积?……………………………………………………29015.5.2为什么要进行卷积?……………………………………………..29115.5.3卷积作为矩阵乘法………………………………………………29315.5.4克罗内克积…………………………………………………….29515.5.5反向传播:更新参数……………………………………………..29615.5.6更高维的指示矩阵………………………………………………29715.5.7反向传播:为前一层准备监督信号…………………………………..29815.5.8用卷积层实现全连接层…………………………………………..30015.6汇合层………………………………………………………………30115.7案例分析:VGG-16网络………………………………………………30315.7.1VGG-Verydeep-16………………………………………………30315.7.2感受野………………………………………………………..30415.8CNN的亲身体验…………………………………………………….30515.9阅读材料……………………………………………………………305习题……………………………………………………………………..305参考文献……………………………………………………………………..309英文索引……………………………………………………………………..325中文索引……………………………………………………………………..332