hadoop安装配置

这个是很早之前写的一个配置文档了，最近总有人管我要，现在发出来，有些地方可能需要修改。仅供参考。 1.配置Hadoop环境变量 1.1展开hadoop安装包 在master解压主目录中的hadoop压缩包 sudo tar -zxf hadoop-2.6.5.tar.gz sudo mv hadoop-2.6.5 hadoop sudo chmod -R +x ~/hadoop 2. 配置Hadoop集群配置文件 2.1修改hadoop-env.sh配置文件 修改hadoop-env.sh中的JAVA_HOME路径 sudo nano ~/hadoop/etc/hadoop/hadoop-env.sh 修改JAVA_HOME路径

export JAVA_HOME=/usr/java/jdk1.8.0_121

保存后退出 2.2修改core-site.xml配置文件 创建Hadoop的默认临时路径 sudo mkdir ~/hadoop/temp 修改每台机器上的core-site.xml sudo nano ~/hadoop/etc/hadoop/core-site.xml 在加入

<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/temp</value> </property>

2.3修改mapred-site.xml配置文件 将mapred-site.xml.template拷贝到mapred-site.xml sudo cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml 修改mapred-site.xml sudo nano ~/hadoop/etc/hadoop/mapred-site.xml 在加入

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>

2.4修改hdfs-site.xml配置文件 修改hdfs-site.xml sudo nano ~/hadoop/etc/hadoop/hdfs-site.xml 在加入

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.safemode.threshold.pct</name> <value>0</value> </property>

2.5修改yarn-env.sh配置文件 修改yarn-env.sh sudo nano ~/hadoop/etc/hadoop/yarn-env.sh 在# export JAVA_HOME=/home/y/libexec/jdk1.6.0/之上插入

export JAVA_HOME=/usr/java/jdk1.8.0_121

2.6修改yarn-site.xml配置文件 修改yarn-site.xml sudo nano ~/hadoop/etc/hadoop/yarn-site.xml 在加入

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>

2.7修改masters和slaves配置文件 cd ~/hadoop/etc/hadoop 配置masters sudo nano masters 加入： master 配置slaves sudo nano ~/hadoop/etc/hadoop/slaves

//将hadoop目录发送到slave1上 scp -r ~/hadoop hadoop@slave1:/home/hadoop //将hadoop目录发送到slave2上 scp -r ~/hadoop hadoop@slave2:/home/hadoop

2.8配置hadoop环境变量 每台机器都需要操作 进入环境变量配置文件 sudo nano ~/.bashrc 注：在最后加入

export HADOOP_HOME=/home/hadoop/hadoop export PATH= HADOOPHOME/bin: PATH

source ~/.bashrc 3. 格式化Hadoop集群的HDFS 在master主机上运行 格式化节点（首次启动） hadoop namenode -format