Ubuntu系统搭建单机Spark注意事项

对于Spark而言，如果大家只是想摸一下、熟悉熟悉而已，可以搭建单机的Spark，大致步骤如下（我使用VMWare下的ubuntu 14.04，暂不考虑安全问题，在root下运行）：

创新互联建站专注于企业营销型网站、网站重做改版、当涂网站定制设计、自适应品牌网站建设、H5场景定制、商城网站建设、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为当涂等各大城市提供网站开发制作服务。

1、安装Ubuntu 14.04，注意装好后需要禁用防火墙（ufw disable），安装SSH 服务器，启用root用户

2、下载安装JDK-1.8、scala 2.11.8（需要和spark的jar版本配合下，这个其实不是很必要，练习用）、spark、maven（build用，这里的scala版本需要和spark的一致，否则可能出现ClassNotDef异常）

3、在.profile中配置环境变量，如：

export SPARK_HOME=/root/spark-2.2.0-bin-Hadoop2.7

export SPARK_LOCAL_HOST=192.168.162.132

export SPARK_MASTER_HOST=192.168.162.132

4、启动spark：

$SPARK_HOME/sbin/start-master.sh

# 在单机情况下也必须启动，否则没有worker

$SPARK_HOME/sbin/start-slave.sh

5、使用maven编译一个示例程序（当然sbt也可以）

6、提交你的测试程序，如下：

$SPARK_HOME/spark-submit --class "类名" --master spark://IP:Port 打包文件名

另外，注意的一点是需要在/etc/hosts和/etc/hostname中正确配置主机名，否则可能出现IOException

网站栏目：Ubuntu系统搭建单机Spark注意事项
转载来源：http://www.hantingmc.com/qtweb/news31/2431.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联