安装模式

1. Local（本地）模式

  • 定义：单机运行模式，适合开发和调试
  • 特点：
    • 无需额外配置，开箱即用
    • 只能在单个JVM进程中运行
    • 支持本地IDE调试（如IntelliJ IDEA）
  • 适用场景：本地开发测试、小规模数据验证、学习Flink基础功能

2. Standalone独立模式

  • 定义：Flink自带的集群管理方式
  • 特点：需要手动部署和管理集群、包含JobManager和TaskManager、资源分配由Flink自身完成
  • 优势：不依赖外部资源管理器、部署相对简单
  • 适用场景：中小规模生产环境、对Hadoop生态依赖较少的场景、需要快速搭建Flink集群的情况

3. YARN模式

  • 定义：基于Hadoop YARN的资源管理模式
  • 特点：计算资源由YARN统一调度、支持动态资源分配、可与其他YARN应用共存
  • 运行模式：Session模式（长期运行集群）、Per-Job模式（按作业分配资源）
  • 优势：资源利用率高、与Hadoop生态无缝集成、适合大规模生产环境

集群规划

  • h121 2C4G
  • h122 2C4G
  • h123 2C2G

下载安装

选择的版本是：Flink 1.11.1 版本

cd /opt/software/
wget https://archive.apache.org/dist/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz
tar -zxvf flink-1.11.1-bin-scala_2.12.tgz
mv flink-1.11.1 ../servers/

Standalone模式部署

修改内容：

jobmanager.rpc.address: h121.wzk.icu
taskmanager.numberOfTaskSlots: 2

Works

写入三台云节点：

h121.wzk.icu
h122.wzk.icu
h123.wzk.icu

Master

h121.wzk.icu:8081

服务启动

cd /opt/servers/flink-1.11.1/bin/
./start-cluster.sh

访问地址：http://h121.wzk.icu:8081/#/overview

测试效果

cd /opt/servers/flink-1.11.1/bin
./flink run ../examples/streaming/WordCount.jar

特点与优缺点

优点

  • 简洁易用：不需要额外的资源管理系统，配置相对简单
  • 独立性强：不依赖外部系统，可以在没有Yarn、Kubernetes等环境中独立运行
  • 低延迟：不涉及外部资源调度系统，延迟相对较低

缺点

  • 资源弹性差：不支持动态扩展或缩减资源
  • 管理复杂：大规模集群中手动管理多个JobManager和TaskManager可能变得复杂
  • 缺乏高级特性：相比于Yarn或Kubernetes部署模式，缺乏自动化资源分配、动态扩展等特性

使用场景

  • 开发与测试
  • 小型集群（10台以下节点）
  • 边缘计算（工业物联网网关、车载设备等）

扩展性与限制

  • 扩展性有限：虽然允许在固定资源下进行扩展，但难以应对大规模或动态变化的工作负载
  • 适应性：对于需要频繁调整资源的场景可能不太适用，但在资源固定且作业负载相对稳定的情况下可以提供稳定可靠的服务