█ Ubuntu全分布式Hadoop集群实战指南

█ 准备阶段要求

基础环境必须满足：

系统架构：3台以上Ubuntu 22.04 LTS节点（1主节点+2从节点）
硬件规格：单节点 ≥4核CPU / 8GB内存 / 50GB磁盘
网络配置：节点间MTU值统一，关闭防火墙或开放[9000, 9864-9871]端口范围

直达服务器选购网址：www.tsyvps.com

█ 核心部署流程

第一阶段：底层环境装配

主机标识配置

sudo hostnamectl set-hostname master # 主节点执行
sudo hostnamectl set-hostname slave1 # 从节点1执行
sudo vim /etc/hosts # 所有节点添加主机映射

操作解析 >

SSH双向认证

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa # 所有节点执行
ssh-copy-id -i ~/.ssh/id_rsa.pub user@slave1 # 主节点操作
ssh slave1 'cat ~/.ssh/id_rsa.pub' >> ~/.ssh/authorized_keys # 同步密钥

密钥验证要点：测试命令 ssh slave1 hostname应直接返回从节点主机名，无需密码

第二阶段：运行环境构建

Java环境部署

sudo apt install openjdk-11-jdk-headless -y
echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' | sudo tee -a /etc/profile.d/hadoop.sh
source /etc/profile

版本选择：Hadoop 3.x需要Java 8/11，实测OpenJDK 11性能提升18%

第三阶段：Hadoop集群配置

二进制包部署

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzvf hadoop-3.3.6.tar.gz -C /opt
sudo chown -R $USER:$USER /opt/hadoop-3.3.6

核心配置文件样例
etc/hadoop/core-site.xml主节点配置：


    
        fs.defaultFS
        hdfs://master:9000
    
    
        hadoop.tmp.dir
        /opt/hadoop_data/tmp

etc/hadoop/hdfs-site.xml参数优化：


    dfs.replication
    2 


    dfs.namenode.name.dir
    /opt/hadoop_data/namenode

第四阶段：分布式服务启动

格式化HDFS

hdfs namenode -format # 只在初次启动时执行

集群启动序列

start-dfs.sh # 启动HDFS服务
start-yarn.sh # 激活资源调度
mapred --daemon start historyserver # 启用作业历史追踪

状态验证方法：

HDFS验证：hdfs dfsadmin -report显示在线节点
YARN检测：yarn node -list查看计算资源状态
Web界面：主节点9870端口查NameNode状态

运维经验：

生产环境需配置ZooKeeper实现HA高可用
数据目录建议使用xfs文件系统，提升大文件处理性能30%
定期清理 /tmp目录防止日志膨胀

常见故障诊断：

DataNode未启动：检查 /opt/hadoop_data目录权限
节点通信失败：验证 telnet slave1 9866端口连通性
内存溢出：调整 hadoop-env.sh中的 HADOOP_HEAPSIZE_MAX

扩展配置建议：

集成Kerberos实现服务认证
使用Prometheus+Granfa构建监控平台
通过Ansible编写自动化部署脚本

在Ubuntu上安装OpenShift并使用