美文网首页
Storm从入门到精通4:Storm环境搭建之全分布模式的HA

Storm从入门到精通4:Storm环境搭建之全分布模式的HA

作者: 金字塔下的小蜗牛 | 来源:发表于2020-04-03 09:16 被阅读0次

本节来介绍Storm的全分布模式的HA的环境搭建过程。

本节用到的安装介质:apache-storm-1.2.2.tar.gz 提取码:wv7p

环境信息:

ZooKeeper集群:
slave1 192.168.126.112
slave2 192.168.126.113
slave3 192.168.126.114

Storm集群:
master 192.168.126.111 (主节点,启动服务:nimbus、logviewer、ui)
slave1 192.168.126.112 (主节点,启动服务:nimbus、logviewer)
slave2 192.168.126.113 (从节点,启动服务:supervisor、logviewer)
slave3 192.168.126.114 (从节点,启动服务:supervisor、logviewer)

1.下载Storm安装包

[root@master ~]# cd /root/tools
[root@master tools]# ls apache-storm-*
apache-storm-1.2.2.tar.gz

2.解压Storm安装包

[root@master tools]# tar -zxvf apache-storm-1.2.2.tar.gz -C /root/trainings
[root@master tools]# cd /root/trainings/apache-storm-1.2.2
[root@master apache-storm-1.2.2]# pwd
/root/trainings/apache-storm-1.2.2

3.设置环境变量(四台机器都做一遍)

[root@master apache-storm-1.2.2]# vim /root/.bash_profile
STORM_HOME=/root/trainings/apache-storm-1.2.2
export STORM_HOME
PATH=$STORM_HOME/bin:$PATH
export PATH
[root@master apache-storm-1.2.2]# source /root/.bash_profile

4.编辑Storm配置文件

[root@master apache-storm-1.2.2]# mkdir tmp
[root@master apache-storm-1.2.2]# cd conf
[root@master conf]# vim storm.yaml
storm.zookeeper.servers:
- "slave1"
- "slave2"
- "slave3"
nimbus.seeds: ["master", "slave1"]
storm.local.dir: "/root/trainings/apache-storm-1.2.2/tmp"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

注意:Storm的HA这里nimbus.seeds指定两个nimbus。

5.将Storm复制到其他节点

[root@master conf]# cd /root/trainings
[root@master trainings]# scp -r apache-storm-1.2.2 root@slave1:/root/trainings
[root@master trainings]# scp -r apache-storm-1.2.2 root@slave2:/root/trainings
[root@master trainings]# scp -r apache-storm-1.2.2 root@slave3:/root/trainings

6.启动ZooKeeper集群模式

[root@slave1 ~]# zkServer.sh start
[root@slave2 ~]# zkServer.sh start
[root@slave3 ~]# zkServer.sh start

7.启动Storm HA集群

(1)在master节点上启动nimbus服务、logviewer服务、ui服务

[root@master ~]# storm nimbus &
[root@master ~]# storm logviewer &
[root@master ~]# storm ui &
[root@master ~]# jps
5345 nimbus
5462 logviewer
5562 core
5678 Jps

(2)在slave2,slave3上启动supervisor服务、logviewer服务

[root@slave2 ~]# storm supervisor &
[root@slave2 ~]# storm logviewer &
[root@slave2 ~]# jps
4741 Supervisor
3622 QuorumPeerMain
4953 Jps
4845 logviewer

[root@slave3 ~]# storm supervisor &
[root@slave3 ~]# storm logviewer &
[root@slave3 ~]# jps
4800 logviewer
3601 QuorumPeerMain
4919 Jps
4696 Supervisor

(3)在slave1节点上启动nimbus服务、logviewer服务

[root@slave1 ~]# storm nimbus &
[root@slave1 ~]# storm logviewer &
[root@slave1 ~]# jps
4608 nimbus
4948 Jps
3445 QuorumPeerMain
4733 logviewer

8.查看Storm HA的网页

访问master上的nimbus的网页,这里是192.168.126.111:8080,即可看到Storm的UI界面如下:

image

可以看到:master节点上的nimbus的状态是Leader,Slave1节点上的nimbus的状态是Not a Leader;slave2和slave3上各启动一个supervisor。

9.验证Storm的HA

(1)杀死master上的Leader状态的nimbus进程

[root@master ~]# jps
5345 nimbus
5462 logviewer
5562 core
5678 Jps

[root@master ~]# kill -9 5345
[root@master ~]# jps
5462 logviewer
5562 core
5804 Jps
[1] 已杀死 storm nimbus

(2)刷新网页

image

可以看到:Leader状态的nimbus死掉以后变成Offline状态,Not a Leader状态的nimbus切换成Leader状态,来接管Storm集群的管理工作,从而保证Storm集群的高效运行。

至此,Storm HA集群的搭建过程已经介绍完毕!祝你玩得愉快!

相关文章

网友评论

      本文标题:Storm从入门到精通4:Storm环境搭建之全分布模式的HA

      本文链接:https://www.haomeiwen.com/subject/xodkdhtx.html