- 1、本文档共7页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Spark开发环境配置及流程(IntellijIDEA)
Spark开发环境配置及流程
之前已经将集群配置完成(详见Hadoop2.6.0搭建过程doc和Spark1.2搭建过程doc文档
通过cat命令可以查看,我只截了一些关键的:
根据提示, 我们直接进入到文件夹bin目录下执行./idea.sh即可启动:
之后便可以根据UI提示界面创建快捷方式,方便下次启动。
在IDEA中安装Scala插件
在IDEA的设置里面,直接有哪些信誉好的足球投注网站“plugins”,在右边的展开中有哪些信誉好的足球投注网站“scala”,点击相应的按钮添加插件即可:
配置Spark应用开发环境
这里以SparkPi程序为例子。
5.1创建Scala Project,设置名称,JDK和Scala路径:
5.2选择菜单中的“File”→“project structure”→“Libraries”,然后点击“+”导入spark-assembly-1.2.0-hadoop2.4.0.jar。
这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本是预编译版本的(见《Spark on yarn搭建过程》 ),所以这个包可以在解压的Spark目录下lib目录里找到,假如说下载的没有编译的,需要通过sbt/sbt assembly命令打包。
同样的,假如IDEA不能识别Scala库,也是用这种方法,路径是Scala的安装路径。
5.3现在可以开发Scala程序。右键新建一个scala类,就可以写程序了。我们直接复制SparkPi的代码,这个代码在Spark文件example目录下可以找到源码:
源码实际上是行不通的,要加上我红框标出来的两句话。第一句设置master的ip和端口,第二句调用addJar方法将我们压缩好的jar包提交到Spark集群(压缩方法在后面介绍)。
运行Spark程序
像上面我们编写完代码,有两种方法运行我们的程序,一个是IDEA中的run方法,另一个是将我们的程序打包成jar包,在Spark集群上用命令行执行。
在集群上运行Spark应用Jar包:
选择“File”→“Project Structure”→“Artifact”,单机“+”,选择“JAR”→“From Modules with dependencies”,然后选择main函数和Jar包的输出路径:
在主菜单中选择“Build”→“Build Artifact”编译生成Jar包。
最后到jar包的目录下执行 java -jar SparkTest.jar即可。
Run方法:
在IDEA菜单中选择“Run”→“Edit Configurations”出现如下界面:
点左上角的“+”,选择“Application”,在右边的拓展中改一下name,选择Main函数:
然后点击右上角的绿色运行箭头即可:
以上介绍了整个Spark应用开发流程以及如何编译调试程序。
您可能关注的文档
- PS考试理论复习题.doc
- PT补考理论试题.doc
- PVC防水卷材.doc
- Python_运行T CL方式初探.doc
- QCAF010300B-21A-2008车辆内饰件色度测量评价要求.doc
- QTG25塔式起重机安装方案.doc
- QCC_JT041-2008__行李架技术条件.doc
- QTZ250(QTZ7520)塔吊安装方案.doc
- QQ头像的设计.doc
- QTZ63塔吊施工方案.doc
- 《中国通史》文字稿第12集春秋争霸.docx
- java教程--类与对象-讲义课件(演讲稿).ppt
- Vue应用程序开发-(1).pptx
- 东北师大版社劳动实践与评价指导手册一年级上册主题二活动一寻找五彩的树叶课时课件.pptx
- 外研版英语四年级上册 Module 4 Unit 2 How much is it单元教学设计.docx
- 外研版英语四年级上册Module 4 单元整体教学设计.docx
- 6《上课之前》课件 鄂科技版 心理健康教育一年级.pptx
- 《1~5的认识》说课课件(共25张PPT)人教版一年级上册数学.pptx
- 六《解决问题(1)》说课课件 人教版 三年级上册数学.pptx
- 七《解决问题》说课课件 人教版 二年级上册数学.pptx
文档评论(0)