原出处 自己的博客之一:http://blog.csdn.net/fanyufanyu/article/details/54907229
第一部分 配置环境变量
vi /etc/profile
export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121
export HADOOP_HOME=/home/fanyu-pc/Hadoop-2.7.3
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=.:$JAVA_BIN:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
# 刷新配置
source /etc/profile
第二部分 配置 hadoop 的配置文件
配置文件目录 /home/fanyu-pc/hadoop-2.7.3/etc/hadoop
均写入 configuration 节点中。
第一个:hadoop-env.sh
vim hadoop-env.sh
# 第 27 行
export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121
第二个:core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://fanyupc-ThinkPad-Edge-E430:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/fanyu-pc/hadoop-2.7.3/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/data</value>
</property>
</configuration>
第四个:mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五个:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>fanyupc-ThinkPad-Edge-E430</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
第三部分:格式化 namenode(注意均为小写)
hdfs namenode -format
第四部分:在本地安装 ssh 服务,并配置无密码认证方式。
第五部分:启动 hadoop 服务
start-all.sh
jps 显示进程
3908 SecondaryNameNode
4852 RemoteMavenServer
3525 NameNode
3670 DataNode
4216 NodeManager
5929 Jps
4077 ResourceManager
通过浏览器可以正常打开http://fanyupc-thinkpad-edge-e430:8088/cluster页面。