微光实验室 · 博客归档
博客 第23页
记录技术探索与工程思考，共 655 篇文章。
大数据-207 如何应对多重共线性：使用线性回归中的最小二乘法时常见问题与解决方案
scikit-learn 进行线性回归时，如何应对最小二乘法中的多重共线性问题。多重共线性可能导致回归模型的不稳定性，表现为参数估计值的不稳定、方差增大以及解的不唯一。文章详细介绍了多重共线性的成因及其影响，并提出了几种改进的回归方法...
大数据-208 岭回归与Lasso回归：区别、应用与选择指南
岭回归（Ridge Regression）和Lasso回归（Lasso）是两种常用的线性回归正则化方法，用于解决机器学习中的过拟合和多重共线性问题。岭回归通过L2正则化项压缩回归系数，但不将其归零，适合特征间高度相关的场景；
大数据-205 线性回归的机器学习视角：矩阵表示、SSE损失与最小二乘
线性回归（Linear Regression）的核心链路：用矩阵形式统一表示预测函数 y=Xw，将参数向量 w 作为唯一未知量；以损失函数刻画拟合误差，重点解释 SSE（残差平方和/误差平方和）作为回归任务的典型优化目标
大数据-206 用 NumPy 矩阵乘法手写多元线性回归：正规方程、SSE/MSE/RMSE 与 R²
pandas DataFrame 与 NumPy 矩阵乘法手写多元线性回归（线性回归实现）。核心思路是将特征矩阵 X（包含一列全 1 作为截距）与标签 y 组成正规方程，通过 w=(X^TX)^{-1}X^Ty 直接求解参数权重。
大数据-203 scikit-learn 决策树剪枝参数：max_depth/min_samples_leaf 参数调优
场景：DecisionTreeClassifier 过拟合、树太大/内存飙升、样本不均衡需要可控剪枝与权重 结论：优先用 maxdepth + minsamplesleaf 做基线
大数据-204 混淆矩阵到ROC：不平衡二分类评估指标全梳理 sklearn
混淆矩阵（TP、FP、FN、TN）建立统一口径，解释 Accuracy、Precision（查准率）、Recall（查全率/敏感度）、F1 Measure 的业务含义：Precision 对应"误伤多数类"的成本...
大数据-79 Spark Standalone 模式：架构解析与性能调优
全面讲解 Spark Standalone 集群的四大核心组件、应用提交流程、SparkContext 内部架构，以及 Shuffle 演进历史和 RDD 优化策略。
大数据-80 SparkSQL 入门：SQL 与分布式计算的融合
系统介绍 SparkSQL 的演进历史、核心抽象 DataFrame/Dataset、Catalyst 优化器原理，以及与 Hive/HDFS 多数据源集成的实战用法。
大数据-201 决策树从分裂到剪枝：信息增益/增益率、连续变量与CART要点
"分裂"到"剪枝"的完整链路，解释其为何通常采用贪心算法形成"局部最优"，以及不同算法在分裂准则上的差异：ID3/C4.5偏信息增益（Information Gain），但信息增益会偏向取值多的特征，因此引入信息增益比/增益率（Gain R...
大数据-202 sklearn 决策树实战：criterion、Graphviz 可视化与剪枝防过拟合
DecisionTreeClassifier 在 loadwine 数据集完成从数据拆分、建模评估到决策树可视化的完整流程（2026版）。重点解释 criterion 的选择：gini（基尼不纯度）、entropy 与 logloss（信息...
大数据-199 决策树模型详解：节点结构、条件概率视角与香农熵计算
决策树模型（Decision Tree）面向分类任务系统梳理：树的三类节点（根节点/内部节点/叶节点）、从根到叶的递归分裂流程，以及"分而治之"的规则生成机制。理论层面给出决策树的条件概率分布视角：
大数据-200 决策树信息增益详解：信息熵、ID3 选特征与 Python 最佳切分实现
决策树信息增益（Information Gain）展开，先用信息熵（Entropy）解释不纯度，再说明为何在节点切分时要最大化父节点熵与子节点熵之差：在 Ent(D) 固定的前提下，最大化 Gain 等价于最小化分支不纯度的加权平均...
大数据-197 K折交叉验证实战：sklearn 看均值/方差，选更稳的 KNN 超参
训练/测试随机划分会导致评估指标不稳定，并给出工程化解法：K折交叉验证（K-Fold Cross Validation）。通过sklearn的crossvalscore在训练集内部做多次划分，输出每折得分数组...
大数据-198 KNN 必须先归一化：Min-Max 正确姿势、数据泄露陷阱与 sklearn 落地
scikit-learn机器学习训练流程中，KNN这类距离模型对"量纲不统一"极其敏感：欧式距离的平方和会让数值尺度更大的特征主导距离，从而显著拖垮分类效果。Min-Max归一化通过"减最小值再除以极差"把特征压缩到[0,1]...
大数据-77 Spark RDD 容错机制：Checkpoint 原理与最佳实践
详解 Spark Checkpoint 的执行流程、与 persist/cache 的核心区别、分区器策略，以及在迭代算法和长依赖链场景下的最佳使用实践。
大数据-78 Spark 广播变量：高效共享只读数据
详解 Spark 广播变量的工作原理、配置参数与最佳实践，以及利用广播实现 MapSideJoin 替代 shuffle join 的性能优化方案。
大数据-195 KNN/K近邻算法实战：欧氏距离+投票机制手写实现，含可视化与调参要点
KNN/K近邻算法（K-Nearest Neighbors, KNN）：从欧氏距离计算、距离排序、TopK投票到函数封装，给出可复现的Python代码与matplotlib可视化。重点解释K值对模型偏差/方差的影响...
大数据-196 scikit-learn KNN 实战：KNeighborsClassifier、kneighbors 最近邻与学习曲线选择
从统一 API（fit/predict/transform/score）到 kneighbors 找出测试样本的 K 个最近邻，再到用学习曲线/参数曲线选择 nneighbors（K 值）。重点说明：
大数据-193 Apache Tez 实战：Hive on Tez 安装配置、DAG原理与常见坑
Apache Tez（示例版本 Tez 0.9.x）如何在 Hadoop2/YARN 上作为执行引擎替代 MapReduce，为 Hive on Tez、Pig on Tez 提供 DAG（有向无环图）执行模型。
大数据-194 数据挖掘 从红酒分类到机器学习全景：监督/无监督/强化学习、特征空间与过拟合一次讲透
2025年仍最常用的机器学习概念框架：监督学习（分类/回归）、无监督学习（聚类/降维）、半监督学习与强化学习。重点解释输入空间、输出空间与特征空间的关系，以及过拟合/欠拟合在训练集与交叉验证集上的典型表现与治理思路