关于主成分分析法(2)PPT第1页，共23页，星期日，2025年，2月5日在模式识别中，一个常见的问题就是特征选择或特征提取，在理论上我们要选择与原始数据空间具有相同的维数。然而，我们希望设计一种变换使得数据集由维数较少的“有效”特征来表示。第2页，共23页，星期日，2025年，2月5日主成分分析主成分分析(或称主分量分析，principalcomponentanalysis)由皮尔逊(Pearson,1901)首先引入，后来被霍特林(Hotelling,1933)发展了。在PCA中，我们感兴趣的是找到一个从原d维输入空间到新的k维空间的具有最小信息损失的映射X在方向w上的投影为第3页，共23页，星期日，2025年，2月5日主成分分析（PCA）一、主成分的定义及导出二、主成分的性质三、从相关阵出发求主成分第4页，共23页，星期日，2025年，2月5日一、主成分的定义及导出设为一个维随机向量，主成分是这样的，样本投影到上之后被广泛散布，使得样本之间的差别变得最明显，即最大化方差。设希望在约束条件下寻求向量，使最大化第5页，共23页，星期日，2025年，2月5日写成拉格朗日问题现在关于求导并令其等于0，得到如果是的特征向量，是对应的特征值，则上式是成立的第6页，共23页，星期日，2025年，2月5日同时我们还得到为了使方差最大，选择具有最大特征值的特征向量，因此，第一个主成分是输入样本的协方差阵的具有最大特征值对应的特征向量第7页，共23页，星期日，2025年，2月5日第二个主成分也应该最大化方差，具有单位长度，并且与正交对于第二个主成分，我们有关于w2求导并令其为0，我们有第8页，共23页，星期日，2025年，2月5日上式两边乘以其中可知，并且可得第9页，共23页，星期日，2025年，2月5日这表明w2应该是的特征向量，具有第二大特征值类似的，我们可以证明其它维被具有递减的特征值的特征向量给出第10页，共23页，星期日，2025年，2月5日我们来看另一种推导：如果我们建立一个矩阵C，其第i列是的规范化的特征向量，则，并且第11页，共23页，星期日，2025年，2月5日其中，是对象矩阵，其对角线元素是特征值，这称为的谱分解由于C是正交的，并且,我们在的左右两边乘以和，得到我们知道如果，则，我们希望它等于一个对角矩阵，于是，可以令第12页，共23页，星期日，2025年，2月5日在实践中，即使所有的特征值都大于0，我们知道，某些特征值对方差的影响很小，并且可以丢失，因此，我们考虑例如贡献90%以上方差的前k个主要成分，当降序排列时，由前k个主要成分贡献的方差比例为第13页，共23页，星期日，2025年，2月5日实践中，如果维是高度相关的，则只有很少一部分特征向量具有较大的特征值，k远比n小，并且可能得到很大的维度归约第14页，共23页，星期日，2025年，2月5日总方差中属于主成分的比例为 称为主成分的贡献率。第一主成分的贡献率最大，表明它解释原始变量的能力最强，而的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。第15页，共23页，星期日，2025年，2月5日前个主成分的贡献率之和 称为主成分的累计贡献率，它表明解释的能力。通常取较小的k，使得累计贡献达到一个较高的百分比(如80％～90％)。此时，可用来代替，从而达到降维的目的，而信息的损失却不多。第16页，共23页，星期日，202