基于vagrant 安装 Hadoop (二)_精选文章

初始环境基于vagrant 安装 Hadoop (一)

准备工作

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/

hadoop-2.6.4.tar.gz 编译版本

hadoop-2.6.4-src.tar.gz 源码版本

我个人不喜欢使用源码版本。所以直接使用编译版本，如果后期我们需要改变环境时。在使用源码版本。

解压文件

cd /vagrant

tar zxvf ./hadoop-2.6.4.tar.gz //解压hadoop

sudo mv ./hadoop-2.6.4 /usr/local/ //改变目录路径

cd /usr/local/ //跳入目录

sudo mv ./hadoop-2.6.4 ./hadoop //改变目录名称

sudo chmod -R hadoop:hadoop ./hadoop //修改目录所属用户与组

测试

建立一个目录。随便放入一些文本文件。让hadoop 去进行检索。计算个数

cd /usr/local/hadoop

sudo mkdir ./input // 创建一个测试目录

sudo cp ./etc/hadoop/*.xml ./input // 随便放入一些文件进入让HADOOP进行检索

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep ./input ./output 'dfs[a-z.]+'cat ./output/*

PS:每次运行 hadoop 测试都需要删除 output 目录。 hadoop 不会删除或者覆盖这个目录的。不然就报错的。

恭喜你单机版已安装完成了,下面来做伪分布式

设置 Hadoop 环境变量

sudo vi /etc/profile

----------------------------------------------------------------

export HADOOP_HOME=/usr/local/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

----------------------------------------------------------------

sudo source /etc/profile

配置缓存配置与HDFS配置

cd /usr/local/hadoop

vi ./etc/hadoop/core-site.xml

-----------------------------------------------------------------

hadoop.tmp.dir

file:/home/hadoop/tmp

Abase for other temporary directories.

fs.defaultFS

hdfs://localhost:9000

------------------------------------------------------------------

vi ./etc/hadoop/hdfs-site.xml

------------------------------------------------------------------

dfs.replication

dfs.namenode.name.dir

file:/home/hadoop/tmp/dfs/name

dfs.datanode.data.dir

file:/home/hadoop/tmp/dfs/data

------------------------------------------------------------------

//配置完成后，执行NAMENODE格式化

./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

启动YARN (MapReduce)

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

vi ./etc/hadoop/mapred-site.xml.template

------------------------------------------------------------------

mapreduce.framework.name

yarn

------------------------------------------------------------------

vi ./yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

192.168.31.30

初始化 HDFS 的文件系统

./bin/hdfs namenode -format

启动HDFS Yarn

./sbin/start-dfs.sh //启动HDFS

./sbin/start-yarn.sh //启动YARN

验证登录

http://192.168.31.30:50070 //查看HDFS

./bin/hdfs dfs -mkdir -p /user/hadoop //创建用户的目录（非必要）

./bin/hdfs dfs -mkdir input (在用户下面创建目录，根据当前登录的用户名)

http://192.168.31.30:8088 // 查询YARN

基于vagrant 安装 Hadoop (二)

相关文章