PAGE1

PAGE1

12.特征选择的评价标准

在模式识别中，特征选择是一个关键步骤，它直接影响到模型的性能和计算效率。特征选择的评价标准是用来评估和选择特征子集的重要依据。本节将详细介绍几种常见的特征选择评价标准，包括基于信息论的方法、基于统计的方法、基于模型的方法等，并通过具体的例子来说明这些方法的应用。

12.1基于信息论的方法

12.1.1信息增益（InformationGain,IG）

信息增益是决策树算法中常用的特征选择方法之一。它衡量的是一个特征在划分数据集时能够减少的熵（不确定性）的程度。信息增益越大，说明该特征对数据集的划分越有效。

原理

信息增益的