hadoop集群搭建

说明：环境cenots7.5  jdk8  hadoop2.7.2

集群节点说明：（此处为公网ip）

39.100.131.85   hadoop1    NameNode、DataNode、NodeManager（对应内网ip：172.26.90.185）

47.92.83.71 hadoop2    DataNode、 ResourceManager（对应内网ip：172.26.90.187）

39.100.67.111 hadoop3 DataNode、SecondaryNameNode、NodeManager（对应内网ip：172.26.90.188）

1.修改host配置文件

这里使用主机名作为互相访问方式，如果想使用ip需在hadoop的配置文件中配置使用ip连接的参数

(这里要配置ifconfig里面的ip，我的是阿里云的，一开始配置的是公网的那个ip，也就是是用来ssh连接服务器的那个，结果namenode怎么都启动不了，报错ulimit -a for user root，最后改为ifconfig查询到的ip就可以了，阿里云买的服务器会为每一个账号分配一个路由，你购买的几台服务器eth0的前三个网段是一样的，做服务配置最好都用这个ip，不要用控制台给的那个用来连接服务器的公网ip，测试服务是否可以，在浏览器中输入的地址为公网ip)

vim /etc/hosts

可以通过【ping】命令查看

(三台服务器的host都需要做相同的配置，并关闭防火墙)

2.安装jdk

下载jdk需要验证，而wget默认跳过验证所以需要在自己电脑上下载好jdk然后上传到服务器上，我的jdk是：jdk-8u202-linux-x64.tar.gz

cd /usr/local/

tar -zxvf jdk-8u202-linux-x64.tar.gz

#配置环境变量（永久生效需要vim /etc/profile  然后在最后添加下面的export信息最后source一下  ）

export JAVA_HOME=/usr/local/jdk1.8.0_202

export PATH=$PATH:$JAVA_HOME/bin

#使配置的环境变量生效

source /etc/profile

#测试

java -version

3.安装hadoop

tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/

export HADOOP_HOME=/usr/local/hadoop-2.7.2/

export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

hadoop version

4.配置配置文件

4.1配置hadoop-env.sh

是hadoop的运行环境，用来定义hadoop运行环境相关的配置信息

//文件末尾

export JAVA_HOME=/usr/local/jdk1.8.0_202

4.2配置core-site.xml

是集群的全局参数文件，用于定义系统级别的参数，如hdfs url、hadoop临时目录等

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop1:9000</value>

    </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property>         <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop-2.7.2/data/tmp</value>

    </property>

</configuration>

4.3配置 hdfs-site.xml

配置如名称节点和数据节点的存放位置，文件副本个数、文件的读取权限等

mkdir -p /home/jiabo/data/hadoop/data/

mkdir -p /home/jiabo/data/hadoop/name

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <!--secondarynamenode的地址 辅助namenode工作 -->

    <property>        

        <name>dfs.namenode.secondary.http-address</name>         <value>hadoop3:50090</value>

    </property>

    <property>

        <name>dfs.name.dir</name>

        <value>/home/jiabo/data/hadoop/name/</value>

    </property>

    <property>

    <name>dfs.data.dir</name>

    <value>/home/jiabo/data/hadoop/data/</value>

    </property>

</configuration>

4.4配置yarn-site

集群资源管理系统参数，配置ResouorceManager，nodeManager的通信端口，web监控端口等

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>

        <name>yarn.nodemanager.aux-services</name> 

        <value>mapreduce_shuffle</value> 

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop2</value>

    </property>

    <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

    #当该值配置小于1024(1GB)时，NM是无法启动的

        <value>1500</value>

    </property>

</configuration>

4.5配置mapred-env.sh

配置MapReduce参数

cp mapred-site.xml.template mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

4.6配置slaves

hadoop1

hadoop2

hadoop3

5.分发文件

scp -r hadoop-2.7.2 hadoop2:/usr/local

scp -r hadoop-2.7.2 hadoop3:/usr/local

6.SSH无密登录配置

ssh-keygen（一直回车就行)

ssh-copy-id -i .ssh/id_rsa.pub hadoop2

ssh-copy-id -i .ssh/id_rsa.pub hadoop3

(在另外两台机器执行相同操作)

7.启动

7.1如果集群是第一次启动，需要格式化NameNode（格式化只进行一次！）

hadoop namenode -format

7.2在hadoop1上启动NameNode

sbin/hadoop-daemon.sh start namenode

7.3在teacher1,teacher2,teacher3上分别启动DataNode

sbin/hadoop-daemon.sh start datanode

7.4集群式启动所有节点yarn

start-yarn.sh

hadoop的节点查看（使用主机名对应的公网ip地址）

http://hadoop1:50070/

Yarn的web页面查看地址：http://hadoop2:8088/

http://39.100.67.111:50090/status.html

创建文件夹测试：

上传文件

下载已上传文件