本文是大数据系列第 4 篇,完成 XML 配置和 SSH 免密后,正式启动三节点 Hadoop 集群并通过 Web UI 验证。
节点分工
| 节点 | 角色 |
|---|---|
| h121 | NameNode、DataNode、NodeManager |
| h122 | DataNode、NodeManager |
| h123 | SecondaryNameNode、DataNode、ResourceManager、NodeManager |
第一步:格式化 NameNode(仅首次执行)
# 在 h121 上执行
hdfs namenode -format
注意:格式化会清空所有数据,只在首次或需要重置时执行。
第二步:单节点验证(可选)
在 h121 上手动启动 NameNode 和 DataNode,验证配置是否正确:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
访问 HDFS Web UI:http://h121.wzk.icu:50070/dfshealth.html
验证后停掉单节点服务:
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
第三步:集群群起
在 h121(NameNode 所在节点)执行:
# 启动 HDFS(NameNode + 所有 DataNode)
start-dfs.sh
# 启动 YARN(ResourceManager + 所有 NodeManager)
start-yarn.sh
验证集群状态
jps 检查进程
在每个节点运行 jps,预期输出:
# h121
NameNode
DataNode
NodeManager
# h122
DataNode
NodeManager
# h123
SecondaryNameNode
DataNode
ResourceManager
NodeManager
Web UI
- HDFS 状态:
http://h121.wzk.icu:50070/dfshealth.html- Live Nodes 显示 3 表示三个 DataNode 都在线
- YARN 集群:
http://h123.wzk.icu:8088/cluster- Active Nodes 显示 3 表示正常
停止集群
stop-dfs.sh
stop-yarn.sh
安全提示
公网部署切记:为 Web UI 端口(50070、8088)配置防火墙白名单,避免未授权访问。