一 故障描述
发现ZooKeeper重启，并且在选主，主成功选出来之后，集群显示正常，但数秒之后，又开始重启，进入上述现象的循环。
查看ZK日志后，发现选举出的leader节点，loadsnapshot的时候，报Java堆内存不足的错误: java.lang.OutOfMemory: Java heap space
image
与此同时，follower节点报错: Unexpected exception causing shutdown while sock ...Follower is ahead of the leader
image
image
查看ZK data目录/var/lib/zookeeper/version-2，发现snapshot文件超过3G
image
ZK的java堆内存设置的是4G，load 3G的snapshot，在内存展开之后，超出内存上限。导致出错。
二、临时解决方案（选一执行即可）
1 增大ZK堆内存大小
2 将所有ZK节点上的version-2目录重命名后，创建一个空的version-2目录，重新启动并初始化
三、最终解决方案
需分析snapshot为何突然增大，ZK空间，大部分被Hive任务创建的节点占用。需要找到存在问题的Hive SQL，并禁止业务提交不合理的SQL（如导致笛卡尔积的SQL）。
网友评论