二零二三年 优质公开课SparkStreaming示例又是WordCount.pptx

朱佳目录01流式数据WordCount示例场景案例021流式数据WordCount示例流式数据WordCount示例 使用简单的流示例，在终端中输入一些文本，观察Spark Streaming应用如何捕获流并在不同的终端中处理它。确保Spark shell有足够的内存。准备工作：1. 在服务器的一个窗口中，启动Netcat服务器： $ nc -lk 85852. 在不同的窗口中，启动有足够内存的Spark shell来处理流数据： $ spark-shell driver-memory 1G流式数据WordCount示例 操作步骤：1. 执行一些Spark导入，进行隐式转换。 import org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext流式数据WordCount示例2. 使用3s批次间隔，并将该值创建StreamingContext：val ssc = new StreamingContext(sc, Seconds(3))3. 在服务器上创建一个SocketTextStream Dstream，指定8585端口，并使用MEMORY_ONLY缓存：val lines = ssc.socketTextStream(“localhost”, 8585)4. 使用WordsFlatMap，将输入切分成分开的单词：val wordsFlatMap = lines.flatMap(_.split(“ ”))流式数据WordCount示例5. 每次出现一个单词，输出键 1，并将单词转换为(word，1):val wordsMap = wordsFlatMap.map( w =(w,1))6. 使用reduceByKey方法计算每个单词的出现次数，并将其作为键:val wordCount = wordsMap.reduceByKey( (a,b) = (a+b))7. 启动StreamingContext：ssc.start流式数据WordCount示例8. 在Netcat运行的第一个服务器上，输入以下行：to be or not to be9. 查看在Spark shell中，WordCount打印的内容2场景案例场景案例Twitter是测试Spark大数据流应用很好的平台。每天发送超过5亿个tweets，因此我们可以使用大量数据。可以将Twitter数据载入Spark，并利用实时数据预测趋势。通常，Spark Streaming 和Apache Kafka配合使用。Apache Kafka是一个分布式的、分区的复制提交日志服务。