Spark大数据分析 课件 2.4 Spark Shell.pptx

SparkShell

目录/Contents01Spark-Shell简介与交互

Spark-Shell简介与交互01

Spark-Shell简介与交互在spark/bin目录中，执行Spark-Shell命令就可以进入Spark-Shell交互式环境，命令如下。bin/spark-shell--mastermaster-urlSpark的运行模式取决于传递给SparkContext的MasterURL的值master-url用来指定Spark的运行模式。MasterURL可以是以下任一种形式：

Spark-Shell简介与交互? local使用一个Worker线程本地化运行Spark(完全不并行)。? local[*]使用逻辑CPU个数数量的线程来本地化运行Spark。? local[K]使用K个Worker线程本地化运行Spark（理想情况下，K应该根据运行机器的CPU核数设定）。? spark://HOST:PORT连接到指定的Sparkstandalonemaster。默认端口是7077。? yarn-client以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR环境变量中找到。? yarn-cluster以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR环境变量中找到。? mesos://HOST:PORT连接到指定的Mesos集群。默认接口是5050。如果要使用更多的使用方式可以执行“--help”命令查看命令以及功能，

Spark-Shell简介与交互图2-43Spark-Shell命令列表

感谢大家的聆听