3.15最小二乘格形自适应算法1.前向预测和后向预测前向预测值：前向预测误差：在前加窗情况下，前向预测误差平方和为：第63页，共94页，星期日，2025年，2月5日令m阶前向预测误差矢量、当前数据矢量x(n)、前向预测系数矢量以及数据矩阵分别为：于是，有：第64页，共94页，星期日，2025年，2月5日根据矢量空间的概念，由的列矢量对x(n)所作的最小二乘（最佳）前向预测是x(n)在上的投影，即式中，是的投影矩阵，有m阶前向预测误差矢量是x(n)对投影补其中是的正交投影矩阵。第65页，共94页，星期日，2025年，2月5日后向预测值：后向预测误差值：令m阶后向预测误差矢量、后向预测矢量，后向预测系数矢量以及数据矩阵分别为:第66页，共94页，星期日，2025年，2月5日3.8权矢量噪声LMS算法之所以简单，主要是因为它对梯度矢量各分量的估计是根据单个数据取样值得到，没有进行平均。也正因此相当于使梯度估计中存在噪声。梯度估计的噪声矢量用N(n)表示，有：协方差：均值为0，协方差=自相关函数，又不相关第31页，共94页，星期日，2025年，2月5日将上式变换到主轴坐标系：∴这是计算噪声的协方差公式。下面考虑自适应调整权矢量这程中，梯度估计噪声的影响，即LMS对权矢量的影响。平移坐标系V：平移坐标系V’：←由噪声产生第32页，共94页，星期日，2025年，2月5日用归纳法求上式，即得：另推：这就是LMS算法中梯度估计噪声在稳态权矢量中引起的噪声。 ←稳态解第33页，共94页，星期日，2025年，2月5日3.9失调量梯度估计噪声的存在，使得收敛后的稳态权矢量在最佳权矢量附近随机起伏，这意味着稳态均方误差值总是大于最小均方误差，且在附近随机地改变。如下图：将这种偏移量的期望值称为：超量均方误差，用“超量MSE”表示。第34页，共94页，星期日，2025年，2月5日变换到主轴坐标系，超量超量将代入，可得近似公式：超量均方误差是度量这种性能损失的一个量（权系数在最佳解附近随机变动）。另一个度量自适应性能损失的量是失调量。用M表示超量第35页，共94页，星期日，2025年，2月5日失调量和收敛速度这两个量要折衷加以考虑，学习曲线时间常数为：根据上式可将R的迹写成：得到：上式说明了失调量、学习曲线时间常数以及权系数的个数三者之间的关系式。在特征值未知的情况下，这个近似式对于设计自适应系统很有用的。在所有特征值相等时：第36页，共94页，星期日，2025年，2月5日3.10自适应的递归最小二乘方（RLS）算法1.特征：FIR维纳滤波器的一种时间递归算法严格以最小二乘方准则为依据的算法收敛速度快应用于：快速信道均衡实时系统辨识时间序列分析缺点：每次迭代计算量大，N阶的FIR计算量曾经一度受到限制，近来有大的发展。2.RLS算法：用二乘方的时间平均的最小化准则取代最小均方准则，并按时间进行计算。第37页，共94页，星期日，2025年，2月5日具体说：是要对初始时刻到当前时刻所有误差的平方进行平均并使其最小化，再按照这一准则确定FIR滤波器的权系数矢量W。即其中：——期望响应——是N阶FIR的输出响应对于非平稳输入信号，为了能很好的进行跟踪，常引入一个指数加权因子对式进行修正：第38页，共94页，星期日，2025年，2月5日—遗忘因子（的正数）旧数据的权值按指数规律衰