有哪些信誉好的足球投注网站- 1、本文档共13页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
Kafka+Spark Streaming+Redis实时系统实践.PDF
Kafka+Spark Streaming+Redis实时系统实践
Spark大数据博客 -
Kafka+Spark Streaming+Redis实时系统实践
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的
计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象
，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们
基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。
我们的应用场景是分析用户使用手机App的行为，描述如下所示：
1、手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器
，我们假设这里直接进入到Kafka消息队列
2、后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark
Streaming，因为Spark Streaming提供了与Kafka整合的内置支持
3、经过Spark Streaming实时计算程序分析，将结果写入Redis，可以实时获取用户的行为数
据，并可以导出进行离线综合统计分析
Kafka+Spark Streaming+Redis编程实践
下面，我们根据上面提到的应用场景，来编程实现这个实时计算应用。首先，写了一个Kafk
a Producer模拟程序，用来模拟向Kafka实时写入用户行为的事件数据，数据是JSON格式，示例
如下：
{
uid: 068b746ed4620d25e26055a9f804385f,
event_time: 1430204612405,
os_type: Android,
click_count: 6
}
一个事件包含4个字段：
1、uid：用户编号
2、event_time：事件发生时间戳
3、os_type：手机App操作系统类型
4、click_count：点击次数
下面是我们实现的代码，如下所示：
package com.iteblog.spark.streaming.utils
import java.util.Properties
import scala.util.Properties
1 / 13
Kafka+Spark Streaming+Redis实时系统实践
Spark大数据博客 -
import org.codehaus.jettison.json.JSONObject
import ducer.Producer
import ducer.KeyedMessage
import ducer.KeyedMessage
import ducer.ProducerConfig
import scala.util.Random
object KafkaEventProducer {
private val users = Array(
4A4D769EB9679C054DE81B973ED5D768, 8dfeb5aaafc027d89349ac9a20b3930f,
011BBF43B89BFBF266C865DF0397AA71, f2a8474bf7bd94f0aabbd4cdd2c06dcf,
068b746ed4620d25e26055a9f804385f, 97edfc08311c70143401745a03a50706,
d7f141563005d1b5d0d3dd30138f3f62, c8ee90aade1671a21336c721512b817a,
6b67c8c700427dee7552f81f3228c927, a95f22eabc4fd4b580c011a3161a9d9d)
private val random = new Random()
private var pointer = -1
def getUserID() : String = {
pointer =
文档评论（0）