关于最大可能性估计第1页，共15页，星期日，2025年，2月5日上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x|ωi)。这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数μ和Σ。第2页，共15页，星期日，2025年，2月5日一基本原理设：有c个类别。每一个类别有一些属于这个类别的训练样例：D1,…,Dc。第j个类别的参数向量(比如均值，方差)表示为θj。一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。问题：怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。第3页，共15页，星期日，2025年，2月5日下面分别使用每个训练样例Di来估算这个类别的参数向量θi。每个类别的参数向量的求解方式都是一样的。下面就忽略i。第4页，共15页，星期日，2025年，2月5日设样例集合D里面有n个训练样例，x1,…,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：因为目前这个类别的参数向量θ还没有确定，所以在参数向量是θ的情况下，这些样例一起出现的概率是：第5页，共15页，星期日，2025年，2月5日使得p(D|θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D|θ)的极值点，等价于求它的自然对数lnp(D|θ)的极值点，等价于对lnp(D|θ)的梯度等于0的点：第6页，共15页，星期日，2025年，2月5日gradθ[f(θ)]，相当于使用θ的每个分量对f(θ)求偏导，然后组合成一个向量。第7页，共15页，星期日，2025年，2月5日二求正态分布的参数μ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ。单变量正态分布的概率密度函数：多变量正态分布的概率密度函数：第8页，共15页，星期日，2025年，2月5日前面求最合理的θ值的公式：p(xk|θ)就是正态分布的概率密度函数。因此进行公式带入：第9页，共15页，星期日，2025年，2月5日第10页，共15页，星期日，2025年，2月5日三求正态分布的参数μ和Σ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ和Σ。第11页，共15页，星期日，2025年，2月5日