博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
centos系统实现hadoop安装配置《二》
阅读量:6836 次
发布时间:2019-06-26

本文共 2098 字,大约阅读时间需要 6 分钟。

hot3.png

1>安装jdk包

tar -zxvf jdk1.8.0_162.tar.gz

安装hadoop包

tar -zxvf hadoop-2.6.5.tar.gz

配置环境变量

 

export JAVA_HOME=/usr/soft/jdk1.8.0_162

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 

export HADOOP_HOME=/usr/soft/hadoop-2.6.5

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

 

2>打开hadoop安装文件,share目录下,里边是支持开发的包文件

share/doc里边呢,就是帮助;对开发部署没有任何影响,为了节省资源可以删掉

share/hadoop里边呢,全是支持开发的java包

 

打开hadoop安装文件,sbin目录下,里边是系统控制文件,例如启动/停止等等

 

3>打开hadoop安装文件,etc目录下,里边全是hadoop的配置文件

需要关注的:

(1)hadoop-env.sh

    export JAVA_HOME=/usr/soft/jdk1.8.0_162

 

 

(2)core-site.xml   --hadoop运行的公共配置

<configuration>

<property>   --配置hadoop运行的默认文件系统

<name>fs.defaultFS</name>

<value>hdfs://hadoop02:9000/</value>

</property>

<property>   --hadoop工作是的工作目录

<name>hadoop.tmp.dir</name>

<value>/usr/soft/hadoop-2.6.5/tmp/</value>

</property>

</configuration>

 

(3)hdfs-site.xml

<configuration>

<property>   --hadoop文件系统文件副本数量

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

 

 

(4)mapred-site.xml  --此文件不存在需要新建,但是有对应的模板文件

cp mapred-site.xml.template  mapred-site.xml

 

<configuration>

<property>   --hadoop下mapreduce使用的执行管理平台

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

(5)yarn-site.xml

<configuration>

<property>   --yarn的主节点机器名

<name>yarn.resourcemanager.hostname</name>

<value>hadoop02</value>

</property>

<property>   --hadoop文件系统文件副本数量

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

(6)slaves   --从节点配置文件

hadoop02

 

 

---------------------------------------------------------------------------

4>启动/关闭

 

首先,格式化HDFS文件系统

hdfs namenode -format

 

手动启动:

 

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

 

手动停止:

 

mr-jobhistory-daemon.sh stop hisoryserver

stop-yarn.sh

stop-dfs.sh

--------------------------------------------------------------------------

运行中实现节点扩展的方法:

(1)slaves配置文件下加入 新机器名

(2)新加入节点需要安装有 jdk ,hadoop , ssh

(3)然后把hadoop下配置按集群里的配置覆盖一次

(4)启动datanode服务就行了:

hadoop-daemon.sh start datanode

 

 

 

 

 

 

转载于:https://my.oschina.net/u/3420885/blog/1634199

你可能感兴趣的文章
POJ - 1995 Raising Modulo Numbers 【快速幂】
查看>>
dwr 文件上传
查看>>
第二章 在HTML中使用JavaScript
查看>>
C++的explicit关键字
查看>>
《SQL Server性能调优实战》知识点汇总
查看>>
JS 中文乱码
查看>>
原生JS实现音乐播放器!
查看>>
hive-安装MySQL(centos6.4)
查看>>
UVa 12100 Printer Queue (习题 5-7)
查看>>
windows下安装apache zookeeper
查看>>
第三周作业
查看>>
git pull --rebase
查看>>
linux下mysql的root密码忘记解决方
查看>>
protobuf 中的嵌套消息的使用 主要对set_allocated_和mutable_的使用
查看>>
0-1背包问题
查看>>
系统的Drawable(二)-Selector
查看>>
CAS 界面根据不同的域名显示不同的界面
查看>>
Node js 嵌入式模板引擎 ejs 的使用
查看>>
vue 事件修饰符
查看>>
自定义的一个JDBC工具类
查看>>