第6章机器学习与知识发现（二）
6.1统计学习
6.2神经网络学习
6.3深度学习
6.4数据挖掘与知识发现
延伸学习导引
;6.1统计学习
6.1.1概述
让计算机（机器）执行以统计、概率和其他数学理论为基础的算法，处理相关样本数据以发现其中的模式或规律的“机器学习”方法——统计机器学习（statisticalmachinelearning），即统计学习（statisticallearning）。
统计学习的主要工作和过程是：首先准备样本数据，然后针对样本数据的特点，选择或设计某种数值模型或概率模型、准则函数（criterionfunction）（如误差、损失、代价、风险函数等）、学习策略和算法，最后编程实现以归纳或估算一个最优模型。
;统计学习的主要任务是发现或估计隐藏于样本数据中的类别关系、函数关系或模式（类）以解决相关的分类（classification）、回归（regression）或聚类（clustering）等问题。这样，统计学习又可分为面向分类的学习、面向回归的学习和面向聚类的学习等。
其中，面向分类的学习又大体有两条技术路线：一条是数值路线，另一条是概率路线。
一般来讲，数值路线的学习结果是问题的近似解，而概率路线的学习结果是可能解。;面向回归的学习与面向分类的学习的数据形式是相似的，只是其数据对中的响应值（也称输出值）一般是实数，而不是分类学习中的类别标记。所以，回归学习的模型、约束、策略、算法等与数值路线的分类学习既相似又有区别。
聚类学习面向无响应值的数据，其目标是发现数据所表征的类别模式。聚类学习也有许多经典算法，如k-均值算法、期望最大化算法、谱聚类算法和层次聚类算法等等。
;统计学习是一种基于样本数据的学习，而样本数据一般是n维向量（称为特征向量）或者n维向量与符号或数值组成的序对，所以统计学习的方法主要是监督学习和无监督学习。
决策树学习是一种独特的监督学习方法，它不仅可用于符号学习，也可用于统计学习。在统计学习中，它既可用于分类学习也可用于回归学习；它既可走数值路线，也可走概率路???。;6.1.2回归问题的线性函数模型学习，梯度下降法
设有样本数据如下表所示：
它们所构成的数据点在x-y空间中的分布如图7-1所示。;设
;由矢量代数知识和梯度下降法原理，在搜索过程中点(a,b)的变换公式亦即系数a,b取值的修正公式为
(a,b)=(a,b)???E(a,b)(6-4)
其中0??1，称为学习因子或学习率，用以控制搜索时的移动步长亦即参数值修正量的大小。(7-4)式是用向量表示的修正公式，写成分量形式则为
;一个学习相应线性函数的算法：
?????????????????????????
(1)设定一个?值和一个误差上限?；
(2)给系数变量a,b各赋一个初值；
(3)将样本中变量xi的取值依次代入函数式ax+b求相应的y值，并计算总误差
E(a,b)=
(4)如果E(a,b)?，则当前的a、b取值即为所求，于是，算法结束；否则，计算梯度?E(a,b)，修正a、b的取值，即令
(a,b)=(a,b)???E(a,b)；
然后转(3)
????????????????????????
;假设经机器学习，系数a,b分别取1.95和?0.96。于是，得线性函数
y=1.95x?0.96
相应的函数图像如图6-2所示。
;说明：
梯度下降法的缺点是容易陷入局部极小点。另外，对于大规模数据，这种步进式的搜索其效率也是个问题。为此，人们又开发出了随机梯度下降法。
上面关于一元线性函数的学习算法也可推广到多元线性函数的学习中去。
;6.1.3分类问题的线性判别函数模型学习
设有下列样本数据：
;考虑在类1和类0（分别记为C0和C1）之间构造一条直线：