京东质量社区 ubuntu 下安装 hadoop 2.7.3 安装

崔作非 · 2017年02月24日 · 最后由 崔作非 回复于 2017年03月17日 · 1601 次阅读

原出处 自己的博客之一:http://blog.csdn.net/fanyufanyu/article/details/54907229

第一部分 配置环境变量

vi /etc/profile

export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121
export HADOOP_HOME=/home/fanyu-pc/Hadoop-2.7.3
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=.:$JAVA_BIN:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

# 刷新配置
source /etc/profile

第二部分 配置 hadoop 的配置文件

配置文件目录 /home/fanyu-pc/hadoop-2.7.3/etc/hadoop
均写入 configuration 节点中。

第一个:hadoop-env.sh
vim hadoop-env.sh
# 第 27 行
export JAVA_HOME=/home/fanyu-pc/jdk1.8.0_121

第二个:core-site.xml

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://fanyupc-ThinkPad-Edge-E430:9000</value>
 </property>
 <!-- 指定hadoop运行时产生文件的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>file:/home/fanyu-pc/hadoop-2.7.3/tmp</value>
         </property>

</configuration>

第三个:hdfs-site.xml

<configuration>
 <!-- 指定HDFS副本的数量 -->
 <property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
 <property> 
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
   <description>
     If "true", enable permission checking in HDFS.
     If "false", permission checking is turned off,
     but all other behavior is unchanged.
     Switching from one parameter value to the other does not change the mode,
     owner or group of files or directories.
   </description>
 </property> 
     <name>dfs.namenode.name.dir</name>  
     <value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/name</value>
 </property>  
 <property>  
     <name>dfs.datanode.data.dir</name>  
     <value>file:/home/fanyu-pc/hadoop-2.7.3/tmp/dfs/data</value>  
 </property>  
 </configuration>

第四个:mapred-site.xml

<configuration>
 <!-- 指定mr运行在yarn上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
         </property>

</configuration>

第五个:yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定YARN的老大(ResourceManager)的地址 -->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>fanyupc-ThinkPad-Edge-E430</value>
         </property>
 <!-- reducer获取数据的方式 -->
         <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
         </property>
 </configuration>

第三部分:格式化 namenode(注意均为小写)

hdfs namenode -format

第四部分:在本地安装 ssh 服务,并配置无密码认证方式。

第五部分:启动 hadoop 服务

start-all.sh

jps 显示进程

3908 SecondaryNameNode
4852 RemoteMavenServer
3525 NameNode
3670 DataNode
4216 NodeManager
5929 Jps
4077 ResourceManager

通过浏览器可以正常打开http://fanyupc-thinkpad-edge-e430:8088/cluster页面。

共收到 2 条回复 时间 点赞

京东同学,排版~

恒温 回复

感谢,提醒,第一次在 testhome 上发帖,很多东东不会用

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册