1>安装jdk包
tar -zxvf jdk1.8.0_162.tar.gz
安装hadoop包
tar -zxvf hadoop-2.6.5.tar.gz
配置环境变量
export JAVA_HOME=/usr/soft/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/usr/soft/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
2>打开hadoop安装文件,share目录下,里边是支持开发的包文件
share/doc里边呢,就是帮助;对开发部署没有任何影响,为了节省资源可以删掉
share/hadoop里边呢,全是支持开发的java包
打开hadoop安装文件,sbin目录下,里边是系统控制文件,例如启动/停止等等
3>打开hadoop安装文件,etc目录下,里边全是hadoop的配置文件
需要关注的:
(1)hadoop-env.sh
export JAVA_HOME=/usr/soft/jdk1.8.0_162
(2)core-site.xml --hadoop运行的公共配置
<configuration>
<property> --配置hadoop运行的默认文件系统
<name>fs.defaultFS</name>
<value>hdfs://hadoop02:9000/</value>
</property>
<property> --hadoop工作是的工作目录
<name>hadoop.tmp.dir</name>
<value>/usr/soft/hadoop-2.6.5/tmp/</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<property> --hadoop文件系统文件副本数量
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4)mapred-site.xml --此文件不存在需要新建,但是有对应的模板文件
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property> --hadoop下mapreduce使用的执行管理平台
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)yarn-site.xml
<configuration>
<property> --yarn的主节点机器名
<name>yarn.resourcemanager.hostname</name>
<value>hadoop02</value>
</property>
<property> --hadoop文件系统文件副本数量
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
(6)slaves --从节点配置文件
hadoop02
---------------------------------------------------------------------------
4>启动/关闭
首先,格式化HDFS文件系统
hdfs namenode -format
手动启动:
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
手动停止:
mr-jobhistory-daemon.sh stop hisoryserver
stop-yarn.sh
stop-dfs.sh
--------------------------------------------------------------------------
运行中实现节点扩展的方法:
(1)slaves配置文件下加入 新机器名
(2)新加入节点需要安装有 jdk ,hadoop , ssh
(3)然后把hadoop下配置按集群里的配置覆盖一次
(4)启动datanode服务就行了:
hadoop-daemon.sh start datanode