虚拟机：Hadoop集群的配置

一、配置Hadoop集群主节点

修改hadoop-env.sh文件

先进入到主节点hadoop01解压包etc/hadoop/目录，使用vihadoop-env.sh指令打开hadoop-env.sh文件，找到JAVA_HOME参数位置，进入如下修改：

exportJAVA_HOME=/export/servers/jdk

修改core-site.xml文件

该文件是Hadoop核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。使用vicore-site.xml打开文件，配置内容如下

《configuration》

《property》

《name》fs.defaultFS《/name》《value》hdfs://hadoop01:9000《/value》

《/property》《property》《name》hadoop.tmp.dir《/name》《value》/export/servers/hadoop-2.9.1/tmp《/value》《/property》《/configuration》

修改hdfs-site.xml文件

主要是设置namenode和datanode进程，使用vihdfs-site.xml指令打开该配置文件，配置内容如下：

《configuration》《property》《name》dfs.replication《/name》《value》3《/value》《/property》《property》《name》dfs.namenode.secondary.http-address《/name》《value》hadoop02:50090《/value》《/property》《/configuration》

修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时的框架，需要先通过cpmapred-site.xml.templatemapred-site.xml命令将文件复制并重命名为mapred-site.xml。接着，使用vimapred-site.xml指令打开mapred-site.xml文件进行修改，添加如下配置内容：

《configuration》《property》《name》mapreduce.framework.name《/name》《value》yarn《/value》《/property》《/configuration》

编写yarn-site.xml文件

本文件是YARN框架的核心配置文件，需要指定YARN集群管理者，使用viyarn-site.xml指令打开该配置文件进行修改，添加如下配置内容：

《configuration》《property》《name》yarn.resourcemanager.hostname《/name》《value》hadoop01《/value》《/property》《property》《name》yarn.nodemanager.aux-services《/name》《value》mapreduce_shuffle《/value》《/property》《/configuration》

修改slaves文件

该文件用于记录Hadoop集群所有从节点的主机名使用vislaves指令打开该配置文件进行修改，添加如下配置内容：

hadoop01hadoop02hadoop03

将配置文件发往各子节点，用scp命令如下：

scp/etc/profilehadoop02:/etc/profilescp/etc/profilehadoop03:/etc/profilescp-r/export/hadoop02:/scp-r/export/hadoop03:/

发送完配置文件后，要去相应的子节点进行更新，指令如下：

source/etc/profile