由于项目需要存储历史业务数据，经过评估数据量会达到100亿以上，在原有mongodb集群和ES集群基础上，需要搭建Hbase集群进行调研，所以首先总结一下Hadoop集群的搭建过程。

一、三个节点的集群规划：

二、安装java1.8

请官网下载jdk1.8安装包,参考链接：

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

tar -zxvf jdk-8u191-linux-x64.tar.gz
mv jdk1.8.0_191 jdk1.8

配置/etc/profile，追加如下内容：

export JAVA_HOME=/opt/jdk1.8
export JRE_HOME=$JAVA_HOME/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar

配置生效

source /etc/profile

三、配置hosts文件

三台机器分别执行下列命令

vim /etc/hosts

#添加如下内容
10.10.26.21 node21
10.10.26.245 node245
10.10.26.255 node255

四、设置3台机器之间无密码访问

三台机器分别执行下列命令

#生成公钥
#一直回车，设置为默认值即可
ssh-keygen -t rsa  

生成公钥后，分发到3台机器上
ssh-copy-id node21
ssh-copy-id node245
ssh-copy-id node255

五、下载Hadoop安装包并进行配置

1、下载包地址：

mkdir -p /opt/hadoop
cd /opt/hadoop/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar -zxvf hadoop-3.2.1.tar.gz

2、修改Hadoop环境变量

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

##追加内容
export JAVA_HOME=/opt/jdk1.8
 
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
 
export HADOOP_PID_DIR=/var/hadoopdata/pids
export HADOOP_LOG_DIR=/var/hadoopdata/logs

3、修改core-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml


 

        fs.defaultFS
        hdfs://node21:8020


        hadoop.tmp.dir
        /var/hadoopdata/tmp

3、修改HDFS的配置文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml


   
             dfs.namenode.secondary.http-address
             node255:50090
   
   
             dfs.replication
             2
   
   
             dfs.namenode.name.dir
             file:/var/data/hadoop/hdfs/name
   
   
             dfs.datanode.data.dir
             file:/var/data/hadoop/hdfs/data
   
 

  dfs.namenode.http-address
  node21:8084

注意这里的8084 即是HDFS web 页面的监听端口

4、配置worker文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/workers

##追加内容
node21
node245
node255

5、配置yarn-site.xml

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/yarn-site.xml


    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
   
   
      yarn.nodemanager.localizer.address
      0.0.0.0:8140
   
   
       yarn.resourcemanager.hostname
       node21
   
   
       yarn.log-aggregation-enable
       true
   
   
       yarn.log-aggregation.retain-seconds
       604800
   
   
       yarn.log.server.url
       http://node255:19888/jobhistory/logs
   
 
  
    yarn.resourcemanager.webapp.address
    node21:3206

注意这里3296就是hadoop yarn的web访问端口。

6、配置mapred-site.xml文件

vim /opt/hadoop/hadoop-3.2.1/etc/hadoop/mapred-site.xml


   
       mapreduce.framework.name
       yarn
   
 
   
       yarn.app.mapreduce.am.env
       HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
   
   
       mapreduce.map.env
       HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
   
   
       mapreduce.reduce.env
       HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-3.2.1
   
 
   
       mapreduce.jobhistory.address
       node255:10020
   
   
       mapreduce.jobhistory.webapp.address
       node255:19888

7、把以上配置完的Hadoop文件夹copy到另两个节点在node21上执行：

scp -r hadoop-3.2.1 root@node245:/opt/

scp -r hadoop-3.2.1 root@node255:/opt/

9、格式化HDFS的namenode节点因为node21节点是namenode服务所在服务器，所以在node21上执行：

[root@node21 hadoop]# hdfs namenode -format

六、启动Hadoop集群

在三台机器上分别执行

vim /etc/profile

添加以下内容

#Hadoop config
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

启动命令

[root@node21 hadoop]# start-all.sh

七、查看节点进程情况，验证是否启动成功

3个节点进程如下： node21节点包括yarn的NodeManager和ResourceManager两个进程，hdfs的NameNode和DataNode两个进程。

[root@node21 logs]# jps -l
18470 org.apache.hadoop.hdfs.server.datanode.DataNode
19144 org.apache.hadoop.yarn.server.nodemanager.NodeManager
18940 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
18269 org.apache.hadoop.hdfs.server.namenode.NameNode
19629 sun.tools.jps.Jps

node245节点包括yarn的NodeManager进程，hdfs的DataNode进程。

[root@node245 opt]# jps -l
10689 org.apache.hadoop.hdfs.server.datanode.DataNode
10947 sun.tools.jps.Jps
10810 org.apache.hadoop.yarn.server.nodemanager.NodeManager

node255节点包括yarn的NodeManager进程，hdfs的DataNode和SecondaryNameNode两个进程。

[root@node255 hadoop-3.2.1]# jps -l
20151 sun.tools.jps.Jps
19768 org.apache.hadoop.hdfs.server.datanode.DataNode
19976 org.apache.hadoop.yarn.server.nodemanager.NodeManager
19886 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
[root@node255 hadoop-3.2.1]#

说明Hadoop已经正常启动了。

访问位置：

1、HDFS访问位置：http://10.10.26.21:8084/

可查看数据节点的信息：我的3个节点的硬盘每个都是160G。

HDFS空间：473G

2、Yarn页面访问位置：
http://10.10.26.21:3206/cluster

以上完成了Hadoop安装，主要是HDFS和YARN相关的多个服务进程。

下一篇将继续基于Hadoop集群，来继续完成Hbase集群的搭建工作。

Centos7环境Hadoop3集群搭建_centos7安装hadoop3