使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境 含提交到集群.docx

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境 含提交到集群.docx

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境 含提交到集群

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境(基础)时间?2016-03-04 13:13:09??极客头条原文??http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-yong-kai-fa-huan-jing-ji-yuan-ma-yue-du-huan-jing.html主题?Spark?IntelliJ IDEA在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群生产环境中运行,使用IDE可以提升我们的开发效率。0.安装IntelliJ IDEA我的系统环境(Ubuntu 14.04.4 LTS)下载必威体育精装版版本的IntelliJ IDEA,官网地址:/idea/download/?。必威体育精装版版本的IntelliJ IDEA支持新建SBT工程,安装scala插件。安装步骤: - Unpack the idea idea-15.0.4.tar.gz file using the following command: tar xfz idea-15.0.4.tar.gz - Run idea.sh from the bin subdirectory.记得在IntelliJ IDEA的“Configure”菜单中,选择“Plugins”,安装“Scala”插件。1.以本地local模式运行Spark程序1)创建“New Project”,选择“Scala”。“Project SDK”选择JDK目录,“Scala SDK”选择Scala目录。2)选择菜单中的“File” -“Project Structure” -“libraries” -+“java”,导入Spark安装目录?/home/tom/spark-1.6.0/lib?下的“?spark-assembly-1.6.0-hadoop2.6.0.jar?”。3)运行Scala示例程序SparkPi: Spark安装目录的examples目录下,可以找到Scala编写的示例程序?SparkPi.scala?,该程序计算Pi值并输出。在Project的main目录下新建?SparkPitest.scala?,复制Spark示例程序代码。选择菜单中的“Run” -“Edit Configurations”,修改“Main class”和“VM options”。运行结果:注意:在我最初运行Spark的测试程序SparkPi时,点击运行,出现了如下错误: Exception in thread main org.apache.spark.SparkException: A master URL must be set in your configuration 从提示中可以看出找不到程序运行的master,此时需要配置环境变量。有哪些信誉好的足球投注网站引擎查询错误后,了解到传递给spark的master url可以有如下几种,具体可以查看Spark官方文档: - local 本地单线程 - local[K] 本地多线程(指定K个内核) - local[*] 本地多线程(指定所有可用内核) - spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。 - mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。 - yarn-client客户端模式连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。 - yarn-cluster集群模式连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。在VM options中输入“?-Dspark.master=local?”,指示本程序本地单线程运行。2.生成jar包提交到集群1)和本地local模式运行Spark相同,我们建立起project。2)选择菜单中的“File” -“Project Structure” -“Artifact” -“jar” -“From Modules with dependencies”,之后选择Main Class和输出jar的Directory。3)在主菜单选择“Build” -“Build Artifact”,编译生成jar包。 4)将jar包使用?spark-submit?提交:$SPARK_HOME/bin/spark-submit --class SimpleApp --master local[4] simple.jar3.配置Spark源码阅读环境克隆Spa

文档评论(0)

xcs88858 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:8130065136000003

1亿VIP精品文档

相关文档