大数据学习笔记2——hdfs安装及相关配置文件的设置
前期回顾：
1、安装
从官网https://hadoop.apache.org/releases.html下载所需版本。
把tar.gz文件上传到linux系统环境中解压即可。
2、主要文件配置
HDFS配置文件存放在Hadoop安装目录下的etc/hadoop下，主要与core-site.xml和hdfs-site.xml两个文件相关。
core-site.xml配置环境变量
<configuration>
<property>
<!-- 指定hadoop 运行时产生文件的存储路径-->
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<!-- hdfs namenode 的通信地址-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.proxyuser.bigdata.groups</name>
<value>hadoop</value>
</property>
<property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<value>hadoop</value>
</property>
</configuration>
hdfs-site.xml配置文件系统
<configuration>
<property>
<!-- 指定HDFS 存储数据的副本数目，默认情况下是3 份-->
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<!-- name node 存放name table 的目录-->
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<!-- data node 存放数据block 的目录-->
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
mapred-site.xml配置计算框架
<configuration>
<property>
<!-- 指定mapreduce 编程模型运行在yarn 上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml配置yarn
<configuration>
<property>
<!-- mapreduce 执行shuffle 时获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop:18088</value>
</property>
</configuration>
