标签: regularization
共 2 篇文章
大数据-210 如何在Scikit-Learn中实现逻辑回归及正则化详解（L1与L2）
但随着C的逐渐变大，正则化的强度越来越小，模型在训练集和测试集上表现呈现了上升趋势，直到C=0.8左右，训练集上的表现依然走高，但模型在未知数据集上的表现就开始下跌，这时候就是出现了过拟合。正则化参数，LogisticRegression默认带了正则化项，penalty参数可选择的值有1和2，分别对应L1的正则化和L2的正则化，默认是L2的正则化。可以看出，当我们选择L1正则化的时候，许多特征的参数都被设置了0，这些特征在真正建模的时候，就不会出现在我们的模型当中了，而L2正则化是对所有特征都给出了参数。
大数据-208 岭回归与Lasso回归：区别、应用与选择指南
岭回归（Ridge Regression）和Lasso回归（Lasso）是两种常用的线性回归正则化方法，用于解决机器学习中的过拟合和多重共线性问题。岭回归通过L2正则化项压缩回归系数，但不将其归零，适合特征间高度相关的场景；Lasso回归则采用L1正则化，有助于特征选择，将不重要的特征系数压缩为零，特别适用于高维数据。选择两者时需依据应用场景：岭回归适用于避免过拟合，Lasso则有助于模型解释性与特征筛选。实际应用中，交叉验证用于选择最优正则化参数λ，Elastic Net结合两者优点进行折中。