基本信息

---

下载

文档摘要

---

PAGE1

PAGE1

数据挖掘：分类与回归：回归算法进阶：岭回归

1理解岭回归

1.1岭回归的起源与动机

岭回归（RidgeRegression）是一种线性回归技术，它通过在损失函数中加入正则化项来解决多重共线性问题和防止模型过拟合。在数据挖掘和统计学中，当自变量之间存在高度相关性时，即存在多重共线性，普通最小二乘法（OLS）的参数估计可能变得不稳定，导致模型的预测能力下降。岭回归通过引入一个惩罚项，即模型参数的平方和乘以一个正则化参数λ，来克服这一问题。这个惩罚项使得参数估计趋向于零，从而降低了模型的复杂度，提高了模型的泛化能力。

1.1.1示例：岭回归解决多重共线