欢迎光临散文网 会员登陆 & 注册

Spark 2.0分布式集群环境搭建

2020-03-20 09:46 作者:Iammyself001  | 我要投稿


Spark安装前准备

首先需要事先配置好Hadoop的分布式集群环境。


下载Spark

在Master节点机器上,下载Spark

http://spark.apache.org/downloads.html

安装Spark

一、解压

二、配置环境变量

配置Spark

一、配置slaves

二、配置spark-env.sh

三、传到其他slaver节点上

四、其他结点解压

启动Spark

一、启动Hadoop

master上的结果
slave上的结果

二、启动Spark

1.启动Master

多了个Master进程

2.启动Slave

3.启动spark-shell

4.图形查看

在master主机上打开浏览器,访问http://master:8080,如下图:

但是我的服务器安装tomcat,发现8080端口会和其他端口共用,即会产生冲突,其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了!

http://master:8001

安装Spark问题

如果有建议和看法,可以在文末留言,谢谢。


Spark 2.0分布式集群环境搭建的评论 (共 条)

分享到微博请遵守国家法律