微光实验室 · 博客归档
博客 第26页
记录技术探索与工程思考，共 731 篇文章。
大数据-219 Grafana 11.3.0 安装与启动实战：YUM 装 RPM、systemd 管理、登录与常见问题
Grafana 是一个功能强大的开源可视化与监控平台，由 Torkel Ödegaard 于 2014 年创建。它采用 Go 语言编写，前端基于 React 框架构建，支持跨平台部署。
大数据-220 离线数仓 数据仓库入门：四大特征、OLTP/OLAP差异与企业数仓架构要点
1988年，IBM公司在面对企业信息系统日益分散、数据孤岛问题日益严重的背景下，首次提出了"信息仓库"(Information Warehouse)的概念。
大数据-217 Prometheus 2.53.2 安装与配置实战：Scrape Targets、Exporter 接入
场景：单机部署 Prometheus 2.53.2，拉取多台主机 node_exporter 指标并验证 Targets 状态
大数据-218 Prometheus Node Exporter 1.8.2 + Pushgateway 1.10 安装与接入
常见的 Prometheus 监控落地场景：在 Rocky Linux（兼容 CentOS/RHEL）上安装 node_exporter-1.8.2 暴露主机指标，并接入 Prometheus（示例版本 2.53.2）完成 targets...
大数据-215 sklearn KMeans 关键属性与评估：cluster_centers_、inertia_、与指标选 K
场景：用 sklearn 做 KMeans 聚类，想解释中心点/损失，并用指标选 K。
大数据-216 KMeans 选 n_clusters：轮廓系数（Silhouette）实战 + init/n_init/max_iter 参数调优
KMeans 选 nclusters 方法：在候选簇数（如 2/4/6/8）上计算 silhouettescore 与 silhouette_samples，结合轮廓系数分布图与聚类散点图判断最优。
大数据-83 SparkSQL 语句实战：DataFrame 操作、SQL 查询与 Hive 集成
介绍 SparkSQL 的核心使用方式，包括 DataFrame API、SQL 查询语法、lateral view explode 等高级功能，以及如何通过 enableHiveSupport 集成 Hive 元数据与读写 Hive 表。
大数据-84 SparkSQL 内核原理：五种 Join 策略与 Catalyst 优化器解析
深入解析 SparkSQL 的五种 Join 执行策略（BHJ、SHJ、SMJ、Cartesian、BNLJ）的选择条件与适用场景，以及 Catalyst 优化器从 SQL 解析到代码生成的完整处理流程。
大数据-213 Python 手写 K-Means 聚类实战（鸢尾花 Iris 数据集）：从距离函数到迭代收敛与坑点
Python K-Means 聚类实现：基于 NumPy 广播计算欧式距离平方和（distEclud），在特征范围内均匀采样初始化质心（randCent），并使用 Pandas 统一容器 result_set 记录「最短距离/当前簇/上次簇...
大数据-214 K-Means 聚类实战：自写算法验证 + sklearn KMeans 参数/labels_/fit_predict 验证
K-Means 聚类给出一套「可验证、可复现、可排错」的工程化流程：先用二维 testSet 数据集做算法验证（pd.read_table 读取、追加虚拟标签列、plt.scatter 可视化、绘制质心与聚类结果）...
大数据-211 逻辑回归的 Scikit-Learn 实现：max_iter、分类方式与多元回归的优化方法
Scikit-Learn 中使用逻辑回归时，maxiter 控制最大迭代次数，影响模型的收敛速度和精度。如果训练未收敛，可能会收到警告提示需要增大 maxiter。不过，过高的迭代次数可能导致过拟合，影响测试集的表现。
大数据-212 K-Means 聚类实战指南：从无监督概念到 Inertia、K 值选择与避坑
聚类算法 K-Means，梳理监督学习与无监督学习的差异（是否需要标签 Y），并给出聚类在客户细分、RFM 分析、图像/语音/视频压缩、异常检测等工程场景的落地路径。重点解释 K-Means 的关键概念「簇与质心」...
大数据-209 深度理解逻辑回归（Logistic Regression）与梯度下降优化算法
逻辑回归（Logistic Regression, LR）是机器学习中重要的分类算法，广泛应用于二元分类任务，如情感分析、疾病预测、垃圾邮件检测等场景。尽管其名字中有"回归"二字，实则是一种分类方法。
大数据-210 如何在Scikit-Learn中实现逻辑回归及正则化详解（L1与L2）
但随着C的逐渐变大，正则化的强度越来越小，模型在训练集和测试集上表现呈现了上升趋势，直到C=0.8左右，训练集上的表现依然走高，但模型在未知数据集上的表现就开始下跌，这时候就是出现了过拟合。正则化参数，LogisticRegression默...
大数据-81 SparkSQL 核心抽象：RDD、DataFrame、Dataset 与 SparkSession 详解
深入对比 Spark 三大数据抽象 RDD、DataFrame、Dataset 的特性与适用场景，介绍 SparkSession 统一入口，并演示各抽象之间的相互转换方法。
大数据-82 SparkSQL 算子详解：Transformation 与 Action 操作实战
系统梳理 SparkSQL 的 Transformation 和 Action 算子，涵盖 select、filter、join、groupBy、union 等操作，并通过实际测试用例演示其用法与性能优化技巧。
大数据-207 如何应对多重共线性：使用线性回归中的最小二乘法时常见问题与解决方案
scikit-learn 进行线性回归时，如何应对最小二乘法中的多重共线性问题。多重共线性可能导致回归模型的不稳定性，表现为参数估计值的不稳定、方差增大以及解的不唯一。文章详细介绍了多重共线性的成因及其影响，并提出了几种改进的回归方法...
大数据-208 岭回归与Lasso回归：区别、应用与选择指南
岭回归（Ridge Regression）和Lasso回归（Lasso）是两种常用的线性回归正则化方法，用于解决机器学习中的过拟合和多重共线性问题。岭回归通过L2正则化项压缩回归系数，但不将其归零，适合特征间高度相关的场景；
大数据-205 线性回归的机器学习视角：矩阵表示、SSE损失与最小二乘
线性回归（Linear Regression）的核心链路：用矩阵形式统一表示预测函数 y=Xw，将参数向量 w 作为唯一未知量；以损失函数刻画拟合误差，重点解释 SSE（残差平方和/误差平方和）作为回归任务的典型优化目标
大数据-206 用 NumPy 矩阵乘法手写多元线性回归：正规方程、SSE/MSE/RMSE 与 R²
pandas DataFrame 与 NumPy 矩阵乘法手写多元线性回归（线性回归实现）。核心思路是将特征矩阵 X（包含一列全 1 作为截距）与标签 y 组成正规方程，通过 w=(X^TX)^{-1}X^Ty 直接求解参数权重。