把不等式方程正规化：正规化：2、解向量的解区（续）第30页，共53页，星期日，2025年，2月5日g(x)=WTX=0决定一个决策界面，当g(x)为线性时，这个决策界面便是一个超平面H，并有以下性质：性质①：W与H正交（如图所示）假设x1,x2是H上的两个向量所以W与(x1-x2)垂直，即W与H正交。一般说，超平面H把特征空间分成两个半空间。即Ω1,Ω2空间，当x在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧.3、超平面的几何性质第31页，共53页，星期日，2025年，2月5日Ω1Ω2g(x)0g(x)03、超平面的几何性质第32页，共53页，星期日，2025年，2月5日矢量到H的正交投影与值成正比其中：xp：x在H的投影向量，r是x到H的垂直距离。是W方向的单位向量。3、超平面的几何性质（续）性质②：第33页，共53页，星期日，2025年，2月5日另一方面:3、超平面的几何性质（续）这是超平面的第二个性质，矢量x到超平面的正交投影正比与g(x)的函数值。第34页，共53页，星期日，2025年，2月5日性质③：3、超平面的几何性质（续）第35页，共53页，星期日，2025年，2月5日性质④：3、超平面的几何性质（续）第36页，共53页，星期日，2025年，2月5日一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？（如下图（a），线性不可分）例：4个样本有几种分法。图（b）①直线把x1分开，每条直线可把4个样本分成ω1ω2类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。4。二分法能力（a）x1x2x3x4⑥③②④⑤⑦（b）第37页，共53页，星期日，2025年，2月5日结论：N个样品线性可分数目(条件：样本分布良好）：4。二分法能力（续）对N和n各种组合的D(N,n)值，表示在下表中，从表中可看出，当N，n缓慢增加时D(N,n)却增加很快。第38页，共53页，星期日，2025年，2月5日第1页，共53页，星期日，2025年，2月5日假设对一模式X已抽取n个特征，表示为：模式识别问题就是根据模式X的n个特征来判别模式属于ω1,ω2,…,ωm类中的那一类。§2-1判别函数第2页，共53页，星期日，2025年，2月5日例如下图：三类的分类问题，它们的边界线就是一个判别函数§2.1判别函数（续）第3页，共53页，星期日，2025年，2月5日判别函数包含两类：一类是线性判别函数：线性判别函数广义线性判别函数（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数）分段线性判别函数另一类是非线性判别函数§2.1判别函数（续）第4页，共53页，星期日，2025年，2月5日§2-2线性判别函数我们现在对两类问题和多类问题分别进行讨论。(一)两类问题即:1.二维情况：取两个特征向量这种情况下判别函数:第5页，共53页，星期日，2025年，2月5日在两类别情况，判别函数g(x)具有以下性质：这是二维情况下判别由判别边界分类.情况如图：1.二维情况第6页，共53页，星期日，2025年，2月5日2.n维情况现抽取n个特征为：判别函数：另外一种表示方法：第7页，共53页，星期日，2025年，2月5日模式分类：当g1(x)=WTX=0为判别边界。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。2.n维情况第8页，共53页，星期日，2025年，2月5日(二)多类问题对于多类问题，模式有ω1,ω2,…,ωm个类别。可分三种情况：1。第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：第9页，共53页，星期日，2025年，2月5日右图所示，每一类别可用单个判别边界与其它类别相分开。如果一模式X属于ω1，则由图可清楚看出:这时g1(x)0而g2(x)0，g3(x)0。ω1类与其它类之间的边界由g1