分布式计算、云计算与大数据 第2版 课件 第10章 实时医疗大数据分析案例.ppt

实时医疗大数据分析实现方法

使用Kettle/Sqoop等ETL工具，将数据导入HDFS（4）执行“转换”

实时医疗大数据分析实现方法

使用Kettle/Sqoop等ETL工具，将数据导入HDFS（5）查看导入后的结果

前面我们把数据导入到了路径/data/test/data.txt中，现在来看一下HDFS中的这个文件是否存在，如下:可见确实有一个data.txt文件，继续看一下文件的内容:实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件本环节是Kafka与SparkStreaming交互的环节，我们将实现一个程序，实现SparkStreaming从Kafka处读取数据并最终存储到HDFS中，作为测试数据集，以便最后的预测使用。在这个环节中，我们将会有两大部分内容:(1)测试前面到的环境搭建时安装的Kafka集群是否能够正常运作;(2)创建Kafkaproducer，输入测试数据，SparkStreaming从Kafka处读取数据并最终存储到HDFS，模拟读取“医疗数据”的过程。实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（1）下载用例程序相关jar包

本实例用到的jar包为:spark-streaming-kafka_2.10-1.5.2.jar，kafka_2.10-.3.4.51-1.jar,metrics-core-2.2.0.jar,zkclient-0.7.jar实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（2）程序代码解析

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（3）测试Kafka集群

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（3）测试Kafka集群

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（3）测试Kafka集群

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（3）测试Kafka集群

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（4）SparkStreaming从Kafka读取数据，并存储到HDFS

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（4）SparkStreaming从Kafka读取数据，并存储到HDFS

实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（4）SparkStreaming从Kafka读取数据，并存储到HDFS

Spark启动好了之后，可以键入“:paste”命令，这样就可以把我们写好的程序直接复制粘贴上去，建议先在文档编辑器或IDE上先写好程序，再把代码复制到Sparkshell上运行，键入Ctrl-D后程序开始运行(当然，也可以一步一步执行代码段):实时医疗大数据分析实现方法

基于SparkStreaming开发Kafka连接器组件（4）SparkStreaming从Kafka读取数据，并存储到HDFS

**第10章实时医疗大数据分析案例提纲案例背景与需求概述设计方案环境准备实现方法不足与扩展习题与参考文献案例背景与需求概述目前我国的医疗行业现状是，优质医疗资源集中在大城市，地方以及偏远地区医疗条件较差，医疗资源的配置不合理，导致了大量的长尾需求，催生了广阔的互联网医疗市场。在此背景下，互联网的“连接”属性得以发挥，有效提高了长尾市场的信息流通，降低了产品扩大受众群的成本，而大数据技术的应用能够使得医疗服务更加完善和精准。医疗大数据的应用主要指的是将各个层次的医疗信息和数据，利用互联网以及大数据技术进行挖掘和分析，为医疗服务的提升提供有价值的依据，使医疗行业运营更高效，服务更精准，最终降低患者的医疗支出。本案例将先介绍某中医院