标签: logstash
共 5 篇文章
大数据-190 Filebeat→Kafka→Logstash→Elasticsearch 实战
Filebeat 采集 Nginx access.log 写入 Kafka，Logstash 从 Kafka 消费后按字段（app/type）条件解析 message 内嵌 JSON，叠加 GeoIP（GeoLite2-City.mmdb）生成坐标字段并写入 Elasticsearch 索引（logstash-%{type}-%{+YYYY.MM.dd}），再交给 Kibana 展示。
大数据-187 Logstash Filter 插件实战：grok 解析控制台与 Nginx 日志（7.3.0 配置可复用）
文章讲解在 Logstash 7.3.0 环境下，用 grok 从控制台 stdin 与 Nginx 访问日志中提取结构化字段（IP、time_local、method、request、status 等），并通过 stdout { codec => rubydebug } 快速验证解析效果。
大数据-188 Logstash Output 插件实战：stdout/file/Elasticsearch 输出配置与调优
Logstash Output 插件（Logstash 7.3.0）实战教程，涵盖 stdout（rubydebug）用于联调验数、file 输出用于本地归档、Elasticsearch 输出用于检索分析。重点讲解 bulk 批量提交、retry 重试、负载均衡、多输出并行、条件路由 if/else，并给出生产常见组合与高频故障定位路径。
大数据-185 Logstash 7 入门实战：stdin/file 采集、sincedb/start_position 机制与排障
Logstash 7 入门教程，涵盖 stdin/file 采集、sincedb 机制与 start_position 生效条件，附带错误速查表
大数据-186 Logstash JDBC vs Syslog Input：原理、场景对比与可复用配置（基于 Logstash 7.3.0）
Logstash Input 插件对比，拆解 JDBC Input 与 Syslog 采集链路的技术差异、适用场景与关键配置。JDBC 通过 JDBC 驱动连接 MySQL 等关系型数据库，结合 sql_last_value、tracking_column、last_run_metadata_path 实现增量同步，适用于数据库到 Elasticsearch 的数据导入与 ETL。