【spark-部署】spark集群搭建

前提

1、hadoop环境

2、安装Scala（类似Java安装）

部署

1、解压、重命名

tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/apps/
cd apps/
mv spark-2.3.1-bin-hadoop2.7/ spark-2.3.1

2、进入安装包的conf目录下，修改slaves.template文件，添加从节点。

#cp slaves.template slaves
hdc-data2
hdc-data3

3、修改spark-env.sh,追加以下内容

# cp spark-env.sh.template spark-env.sh

#vi spark-env.sh

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
export SCALA_HOME=/opt/apps/scala-2.11.8
export HADOOP_HOME=/opt/apps/hadoop-2.7.2

export HADOOP_CONF_DIR=/opt/apps/hadoop-2.7.2/etc/hadoop
export SPARK_CONF_DIR=/opt/apps/spark-2.3.1/conf
export SPARK_EXECUTOR_MEMORY=2g
export SPARK_DRIVER_MEMORY=2g

export SPARK_MASTER_HOST=hdc-data1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=2g
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdc-data1:2181,hdc-data2:2181,hdc-data3:2181 -Dspark.deploy.zookeeper.dir=/spark"

export SPARK_CLASSPATH=/opt/apps/hbase-1.1.1/lib/*
export SPARK_DIST_CLASSPATH=$(/opt/apps/hadoop-2.7.2/bin/hadoop classpath):$(/opt/apps/hbase-1.1.1/bin/hbase classpath)

4、同步到其他机器

#scp -r /opt/apps/spark-2.3.1/ root@[hdc-data2:/opt/apps/](http://hdc-data3/opt/apps/)

#scp -r /opt/apps/spark-2.3.1/ root@[hdc-data3:/opt/apps/](http://hdc-data3/opt/apps/)

5、启动集群

进入sbin目录下，执行当前目录下的./start-all.sh
使用jps查看spark进程，查看启动日志及WEBUI页面（master:8080）