标签: elk
共 17 篇文章
大数据-189 Nginx JSON 日志接入 ELK：ZK+Kafka+Elasticsearch 7.3.0+Kibana 实战搭建
通过 Nginx 配置 log_format json 输出结构化 access_log（包含 @timestamp、request_time、status、request_uri、ua 等字段），在多节点（h121/h122/h123）启动 Zookeeper 与 Kafka 做日志缓冲与解耦，再启动 Elasticsearch 7.3.0 存储检索，最后用 Kibana 7.3.0 完成检索与可视化。
大数据-190 Filebeat→Kafka→Logstash→Elasticsearch 实战
Filebeat 采集 Nginx access.log 写入 Kafka，Logstash 从 Kafka 消费后按字段（app/type）条件解析 message 内嵌 JSON，叠加 GeoIP（GeoLite2-City.mmdb）生成坐标字段并写入 Elasticsearch 索引（logstash-%{type}-%{+YYYY.MM.dd}），再交给 Kibana 展示。
大数据-187 Logstash Filter 插件实战：grok 解析控制台与 Nginx 日志（7.3.0 配置可复用）
文章讲解在 Logstash 7.3.0 环境下，用 grok 从控制台 stdin 与 Nginx 访问日志中提取结构化字段（IP、time_local、method、request、status 等），并通过 stdout { codec => rubydebug } 快速验证解析效果。
大数据-188 Logstash Output 插件实战：stdout/file/Elasticsearch 输出配置与调优
Logstash Output 插件（Logstash 7.3.0）实战教程，涵盖 stdout（rubydebug）用于联调验数、file 输出用于本地归档、Elasticsearch 输出用于检索分析。重点讲解 bulk 批量提交、retry 重试、负载均衡、多输出并行、条件路由 if/else，并给出生产常见组合与高频故障定位路径。
大数据-185 Logstash 7 入门实战：stdin/file 采集、sincedb/start_position 机制与排障
Logstash 7 入门教程，涵盖 stdin/file 采集、sincedb 机制与 start_position 生效条件，附带错误速查表
大数据-186 Logstash JDBC vs Syslog Input：原理、场景对比与可复用配置（基于 Logstash 7.3.0）
Logstash Input 插件对比，拆解 JDBC Input 与 Syslog 采集链路的技术差异、适用场景与关键配置。JDBC 通过 JDBC 驱动连接 MySQL 等关系型数据库，结合 sql_last_value、tracking_column、last_run_metadata_path 实现增量同步，适用于数据库到 Elasticsearch 的数据导入与 ETL。
大数据-179 Elasticsearch 倒排索引与读写流程全解析：从 Lucene 原理到 Query/Fetch 实战
文章解析 Elasticsearch 倒排索引原理，对比正向索引与倒排索引差异，涵盖分词、Term Dictionary、Posting List 等核心概念。详述文档写入的分片路由规则（hash(routing) % number_of_primary_shards）、主副本写入复制流程，以及 Query 阶段与 Fetch 阶段协作方式。
大数据-180 Elasticsearch 近实时搜索：Segment、Refresh、Flush、Translog 全流程解析
文章详细解析 Elasticsearch 近实时搜索的核心机制，包括 Lucene Segment、Memory Buffer、File System Cache、Refresh、Flush 及 Translog（事务日志）等核心组件，解释为何 ES 只能做到"近实时搜索"，以及数据持久化提交的流程。涵盖 refresh_interval、flush、translog.durability 等关键参数的调优思路。
大数据-177 Elasticsearch 聚合实战：指标聚合 + 桶聚合完整用法与 DSL 解析
覆盖指标聚合 Metrics Aggregations 与桶聚合 Bucket Aggregations 的完整实践，适用于 2025 年常见的 Elasticsearch 7.x / 8.x 版本。文章先从聚合语法入手，解释 aggs/aggregations 节点结构，然后通过 max、sum、avg、value_count、cardinality、stats、extended_stats、percentiles、percentile_ranks 等案例，演示如何在 ES 中完成最大值、最小值、求和等统计功能。
大数据-178 Elasticsearch 7.3 Java 实战：索引与文档 CRUD 全流程示例
elasticsearch-rest-high-level-client 实现索引和文档的增删改查，包括：通过 JSON 与 XContentBuilder 两种方式创建索引、配置分片与副本、删除索引、插入单条文档、按 ID 查询文档以及使用 match_all 查询全部数据。
大数据-175 Elasticsearch Term 精确查询与 Bool 组合实战：range/regexp/fuzzy 全示例
本文演示 Elasticsearch term-level queries 包括 term、terms、range、exists、prefix、regexp、fuzzy、ids 查询，以及 bool 复合查询。涵盖创建 book 索引、插入示例数据、各种查询 DSL 示例与执行结果。
大数据-176 Elasticsearch Filter DSL 全面实战：过滤查询、排序分页、高亮与批量操作
本文介绍 Filter DSL 与 query 的区别：Filter DSL 不计算相关度评分，专门优化过滤场景的执行效率。涵盖 bool + filter + range 数值/日期范围过滤、基于 _score 排序、单/多字段排序、分页、highlight 高亮配置以及批量操作（_mget、_bulk）。
大数据-173 Elasticsearch 映射与文档增删改查实战（基于 7.x/8.x）
本文详细介绍 Elasticsearch 7.x/8.x mapping 配置与文档 CRUD 操作，包括索引/字段映射创建、映射属性（type、index、store、analyzer）、文档创建、查询、全量/局部更新、按 ID 或条件删除。
大数据-174 Elasticsearch 查询 DSL 实战：match/match_phrase/query_string/multi_match 全解析
深入讲解 Elasticsearch 7.3 中查询 DSL 核心用法，重点拆解 match、match_phrase、query_string、multi_match 等全文检索语句在真实业务中的差异和坑位。
大数据-171 Elasticsearch-Head 与 Kibana 7.3.0 实战：安装要点、连通性与常见坑
介绍 Elasticsearch-Head 插件与 Kibana 7.3.0 的安装与连通性要点，涵盖 Chrome 扩展快速接入、ES 集群健康与分片可视化、REST API 调试、Kibana Dashboard/Discover 使用入口，以及生产场景下的 CORS、安全认证与端口冲突等常见问题排查。
大数据-172 Elasticsearch 索引操作与 IK 分词器落地实战：7.3/8.15 全流程速查
Elasticsearch 索引创建、存在性判断（单/多/全量）、打开/关闭/删除与健康度排查，以及 IK 分词器的安装、ik_max_word / ik_smart 分析与远程扩展词典/停用词的 Nginx 托管方案。
大数据-167 ELK Elastic Stack(ELK) 实战：架构要点、索引与排错清单
文章介绍 Elasticsearch 8.x、Logstash 8.x、Kibana 8.x 的核心能力与常见实践，覆盖集中式日志系统的采集、传输、索引、分片/副本、查询 DSL、聚合与 ILM 生命周期管理等关键环节。