本文是大数据系列第 4 篇,完成 XML 配置和 SSH 免密后,正式启动三节点 Hadoop 集群并通过 Web UI 验证。

完整图文版:CSDN 原文 | 掘金

节点分工

节点角色
h121NameNode、DataNode、NodeManager
h122DataNode、NodeManager
h123SecondaryNameNode、DataNode、ResourceManager、NodeManager

第一步:格式化 NameNode(仅首次执行)

# 在 h121 上执行
hdfs namenode -format

注意:格式化会清空所有数据,只在首次或需要重置时执行。

第二步:单节点验证(可选)

在 h121 上手动启动 NameNode 和 DataNode,验证配置是否正确:

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

访问 HDFS Web UI:http://h121.wzk.icu:50070/dfshealth.html

验证后停掉单节点服务:

hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode

第三步:集群群起

在 h121(NameNode 所在节点)执行:

# 启动 HDFS(NameNode + 所有 DataNode)
start-dfs.sh

# 启动 YARN(ResourceManager + 所有 NodeManager)
start-yarn.sh

验证集群状态

jps 检查进程

在每个节点运行 jps,预期输出:

# h121
NameNode
DataNode
NodeManager

# h122
DataNode
NodeManager

# h123
SecondaryNameNode
DataNode
ResourceManager
NodeManager

Web UI

  • HDFS 状态http://h121.wzk.icu:50070/dfshealth.html
    • Live Nodes 显示 3 表示三个 DataNode 都在线
  • YARN 集群http://h123.wzk.icu:8088/cluster
    • Active Nodes 显示 3 表示正常

停止集群

stop-dfs.sh
stop-yarn.sh

安全提示

公网部署切记:为 Web UI 端口(50070、8088)配置防火墙白名单,避免未授权访问。

下一篇:大数据-05 集群 WordCount 实战