博客
记录技术探索与思考 · 共 655 篇
大数据-227 离线数仓-Flume 1.9.0 自定义拦截器实战：TAILDIR 多目录采集，按 logtime...
文章浏览阅读4.5k次，点赞32次，收藏27次。使用 TAILDIR Source 监控多个目录（start/event），通过 filegroups headers 为不同来源打上 logtype；再配合自定义 Interceptor 从日志正文解析业务时间，写入 header=logtime。最终 HDFS Sink 采用动态路径 /user/data/logs/%{logtype}/d...
深入浅出 MyBatis - 快速入门(无 Spring) 增删改查 核心配置讲解 XML 与 注解映射
MyBatis快速入门续篇，详细讲解增删改查操作、XML映射文件核心配置、注解开发方式，以及数据源、事务管理等配置。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MyBatis - SqlSession Executor StatementHandler 源码分析
详细介绍MyBatis核心架构设计，包括三层架构、SqlSession、Executor、StatementHandler的工作原理和源码分析，以及MyBatis的初始化流程。
Neo4j 安装与最小闭环 | 10 分钟跑通 + 远程访问 Docker neo4j.conf
Neo4j 图数据库 Docker 安装与远程访问配置，10 分钟快速入门指南。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MyBatis - 插件机制 PageHelper 与 通用 Mapper
详细介绍MyBatis分页插件PageHelper和通用Mapper的使用方法，包括配置、代码示例、PageInfo类用法以及通用Mapper的CRUD操作。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-226 离线数仓 Flume 优化配置实战：batchSize/Channel/压缩/自定义拦截器与 OO...
文章浏览阅读8.5k次，点赞24次，收藏18次。Flume 1.9.0 在离线数仓（日志采集→HDFS）场景的工程化优化：从 Source→Channel→Sink 全链路给出 batchSize、Memory/File Channel 的 capacity/transactionCapacity、压缩传输（gzip/snappy/lz4）等关键参数的可落地取值区间与取舍原则，重点解决高并发...
大数据-87 Spark DStream 转换算子详解：map、reduceByKey、transform 实战
系统梳理 Spark Streaming DStream 的无状态转换算子与 transform 高级操作，通过黑名单过滤案例演示 leftOuterJoin、SQL、广播变量三种实现方式。
大数据-88 Spark Streaming 窗口操作与状态追踪：updateStateByKey 与 mapWi...
深入讲解 Spark Streaming 有状态计算：窗口操作参数配置、reduceByKeyAndWindow 热词统计、updateStateByKey 全量状态维护与 mapWithState 增量优化，附完整 Scala 代码。
深入浅出 MyBatis - MyBatis 快速入门(无 Spring) POM Mapper 核心文件 增删改查
MyBatis快速入门教程，详细介绍MyBatis开发步骤，包括POM依赖配置、Mapper映射文件、SqlMapConfig核心配置文件，以及增删改查操作。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-225 离线数仓 会员指标实战：Flume Taildir HDFS ODS/DWD/DWS/ADS 全链路落地
文章浏览阅读5.3k次，点赞18次，收藏29次。离线数仓建设，给出"日志采集→落地→分层→指标"的工程化路径。会员以设备唯一标识（Android IMEI / iOS OpenUDID）为口径，输出新增会员、活跃会员（DAU/WAU/MAU）与留存（次日/7日/30日）等核心指标。采集侧选择 Flume 1.8+ 的 Taildir Source 解决多目录增量追踪与断点续传（posit...
深入浅出 MyBatis - MyBatis 概念 ORM映射关系 常见ORM 详细发展历史
本文深入介绍MyBatis框架，从ORM概念讲起，详解MyBatis的发展历史、技术优势，以及与Hibernate等常见ORM框架的对比。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL事务隔离级别：读未提交、已提交、可重复读与串行化
深入浅出讲解MySQL事务隔离级别：读未提交、读已提交、可重复读、串行化，剖析脏读、不可重复读、幻读问题及解决方案。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 锁机制图文详解：从表锁到行锁，从理论到实战
深入浅出讲解MySQL锁机制：悲观锁、乐观锁、表级锁、行级锁（共享锁、排他锁）、意向锁，图文详解锁分类与实战应用。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 死锁全解析：原理、场景复现与优化
深入浅出讲解MySQL死锁：死锁定义、必要条件、表锁死锁、行级死锁、共享锁转排他锁、死锁排查与避免策略。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 设计攻略：可用性、扩展性、一致性详解
深入浅出讲解MySQL数据库设计：可用性（冗余、故障转移）、扩展性（分库分表、读写分离）、一致性（强一致性与最终一致性）。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 主从复制详解：读写分离、高可用与半同步复制全覆盖
深入浅出讲解MySQL主从复制：主从模式、读写分离、半同步复制原理与配置。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 并行复制技术详解：从5.6到8.0的演进深入详解
深入浅出讲解MySQL并行复制技术：从5.6基于库的并行到5.7基于组提交再到8.0基于writeset的演进。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 双主架构+MMM高可用：原理与故障切换机制详解
深入浅出讲解MySQL双主架构与MMM高可用方案：双主模式、MMM故障处理、监控机制。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL MHA主从故障切换机制详解 高可用终极方案
深入浅出讲解MySQL MHA高可用方案：MHA架构、故障处理、主备切换、延迟问题与解决方案。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
深入浅出 MySQL 分布式主键策略：UUID、SnowFlake、COMB、Redis、数据库ID表优劣全对比
本文深入介绍MySQL分布式主键策略，包括UUID、SnowFlake、COMB、Redis和数据库ID表等方案的原理、优缺点及适用场景对比。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。