4.2分类器设计4.2.2判别函数分类器设计1.判别函数基本概念要进行模式分类，首先要在对一类事物特征的认知基础上，找到一个有效的分类决策规则，才能够对新的样本正确地分类。例如，已知的样本集分为两类，如果能在特征空间中找到一条类别之间的界限，就可以通过判断待识别的样本位于界限的哪一侧，来确定样本属于哪一类，称该界限为“分类决策边界”。分类决策边界可用方程G(x)=0表示，将一个待识别样本的特征值x0代入G(x)中时，如果：G(x)﹥0则认为x0位于分类决策边界的正侧，判定x0属于ω1类。如果：G(x)﹤0则认为x0位于分类决策边界的负侧，判定x0属于ω2类。如果：G(x)=0则认为x0正好位于分类决策边界上，此时无法给出有效的分类决策结果。4.2分类器设计4.2.2判别函数分类器设计1.判别函数基本概念因此，对于待分类的样本集，只要找到G(x)，就可以得到一个确定的分类决策规则，G(x)称为“判别函数”如果判别函数是一个线性函数，则称为线性判别函数。线性判别函数及其对应的分类决策规则，就构成了一个“线性分类器”。非线性判别函数及其对应的分类决策规则，就构成了一个“非线性分类器”。4.2分类器设计4.2.2判别函数分类器设计1.判别函数基本概念如果有一个样本集，它的各个类别样本的分布区域相交，那么肯定是线性不可分的；如果同一类别样本的分布区域是由不连通的子区域组成的，也会带来线性不可分的问题，这种情形的典型案例就是异或问题。如图所示。将一个模式识别问题从低维特征空间映射到高维特征空间时，也就将一个非线性分类的问题转化成了一个线性分类的问题，这种方法称为“广义线性化”。线性判别函数只能将特征空间划分成两个区域，对于二分类问题是可以直接解决的。如果用线性分类器解决多分类问题，那么就需要多个线性判别函数，用二分类问题的组合来确定多分类的分类决策规则。4.2分类器设计4.2.2判别函数分类器设计2.线性判别函数求解的一般思路一般情况下，分类决策边界可以旋转，直到与两类样本的分布区域相切，这代表不同的权向量W。分类决策边界还可以平移，直到与两类样本的分布区域相切，这代表不同的偏置量w0。因此，最终的解不是唯一解，而是位于一个区域内，称为解区域。求解一个线性分类器的过程，就是按照某种准则，找到解区域中一个较优解的过程，其一般的思路是：1）设定一个标量的准则函数，使其值能够代表线性判别函数解的优劣程度，准则函数值越小，说明该线性判别函数解越符合要求。2）通过寻找准则函数的极小值，就能找到最优的一个线性判别函数解，使准则函数取得极小值的增广权向量W，就是最优解。一般情况下，在求解线性分类器时，为了避免同时求解权向量W和偏置量w0的繁琐，通常将w0统一纳入求解过程，对n维的样本特征向量X和n维的权向量W进行增广，转化为n+1维。4.2分类器设计4.2.2判别函数分类器设计2.线性判别函数求解的一般思路要使所有样本都被正确地分类，即不等式方程组成立。对于第i类样本，判别函数值大于0，对于第j类样本，判别函数值小于0。为了便于编程实现，一般将位于分类决策边界负侧的第j类所有样本的特征向量乘以-1，然后求解目标就统一转化为大于0的不等式方程组形式。4.2分类器设计4.2.3模糊模式识别算法在整个模式识别算法体系中，模糊模式识别并不是一类独立的算法。它是在模糊数学的基础上，将统计模式识别中的特征值表达和分类决策模糊化，对各类统计模式识别算法进行改进，提升已有模式识别算法的性能。1.最大隶属度识别法隶属度函数表达了一个元素对一个集合的隶属程度。在模式识别中，也可以看作是一个特征取值对一个类别的隶属程度。因此，可以直接使用隶属度函数来进行模式识别，这称为最大隶属度识别法。最大隶属度识别法有两种形式：形式一：设A1,A2，...，An是U中的n个模糊子集，且对每一Ai均有隶属度函数μi(x)，x0为U中的任一元素，若有隶属度函数，则x0∈类Ak。形式二：设A是U中的1个模糊子集，x1～xn为U中的n个元素，若A的隶属度函数中：，则A属于xk对应的类别。4.2分类器设计4.2.3模糊模式识别算法2.择近原则识别法最大隶属度识别法是将类别或者样本模糊化表达，并基于隶属度函数值的