【ridge】在机器学习和统计学中，Ridge回归（也称为岭回归）是一种用于处理多重共线性问题的线性回归方法。它通过引入正则化项来限制模型参数的大小，从而提高模型的泛化能力。Ridge回归是L2正则化的典型代表，适用于特征之间存在高度相关性的数据集。
Ridge回归简介
Ridge回归是在普通最小二乘法（OLS）的基础上，对损失函数加入一个惩罚项，该惩罚项是模型系数的平方和乘以一个正则化参数λ。其目标是最小化以下公式：
$$
\text{Loss} = \sum_{i=1}^{n}(y_i - \beta_0 - \sum_{j=1}^{p}\beta_j x_{ij})^2 + \lambda \sum_{j=1}^{p}\beta_j^2
$$
其中：
- $ y_i $ 是目标变量
- $ x_{ij} $ 是第i个样本的第j个特征
- $ \beta_j $ 是模型系数
- $ \lambda $ 是控制正则化强度的超参数
随着λ的增大，模型的复杂度被有效抑制，防止过拟合。
Ridge回归的特点
| 特点 | 描述 |
| 正则化方式 | L2正则化，对系数进行平方惩罚 |
| 处理共线性 | 有效缓解多重共线性带来的影响 |
| 参数估计 | 系数不会被完全压缩为零，保留所有特征 |
| 计算效率 | 可以使用矩阵运算快速求解 |
| 超参数调节 | 需要选择合适的λ值，通常通过交叉验证确定 |
Ridge回归与Lasso回归的对比
| 特征 | Ridge回归 | Lasso回归 |
| 正则化类型 | L2正则化 | L1正则化 |
| 系数压缩 | 所有系数都缩小 | 一些系数被压缩为零，实现特征选择 |
| 共线性处理 | 有效 | 有效 |
| 计算复杂度 | 较低 | 较高（尤其在高维数据中） |
| 模型解释性 | 相对较好 | 更好（因可选特征） |
Ridge回归的应用场景
- 当特征之间存在高度相关性时
- 当特征数量较多但样本量有限时
- 当希望保留所有特征但减少模型方差时
- 在需要稳定预测结果的场景中（如金融、经济建模）
总结
Ridge回归是一种强大的线性回归方法，通过引入L2正则化来提升模型的鲁棒性和泛化能力。它特别适合处理具有多重共线性的数据集，并且在计算上相对高效。虽然它不像Lasso那样能进行特征选择，但在许多实际应用中仍表现出良好的性能。合理选择正则化参数λ是使用Ridge回归的关键步骤之一。
