大规模谱聚类算法开发.doc

SHANGHAI JIAO TONG UNIVERSITY 学士学位论文 BACHELOR’S THESIS 论文题目：基于Spark的医疗和金融大数据算法工具包的开发 学生姓名: 姚春楠 学生学号: 5110309682 专 业: 信息工程 指导教师: 袁焱 学院(系): 电子信息与电气工程学院  基于Spark的医疗和金融大数据算法工具包的开发 摘要 大数据时代要求人们用最快的速度对海量数据进行分析，以求挖掘出数据内隐藏的宝贵信息。在互联网大数据发展得如火如荼的今天，医疗和金融方向的大数据值得我们进行更深入的探索发现。其中最重要的三个领域就是数据预处理、大规模统计分析、大规模聚类算法。在实际应用中，我们所面对的数据体量往往无法用一台机器存储和计算，于是我们需要分布式存储和并行计算平台来达成目的。Apache Spark是近年备受关注的并行计算架构之一。本文基于对Spark架构和前人的理论研究的理解，进行了目标算法的多种实现和性能比较，最终选择最优的方法力图最大程度地提高大数据分析的速度以满足实际应用中对数据分析时效性的要求。本文还将算法实现与数据可视化开源软件融合，使得上述三个领域的需求均能在Spark平台上通过优良的算法性能、生动的可视化效果予以满足。 关键词：数据分析，Spark，聚类，分布式，并行计算  BIG DATA ANALYSIS TOOLKIT FOR MEDICAL AND FINANCIAL CASES BASED ON APACHE SPARK ABSTRACT In the era of Big Data, people want to analyze massive datasets as fast as possible and mine the value behind the veil. While the Internet industry has embraced this trend, in medical and financial fields, deeper explorations are needed, specifically, data preprocessing, massive statistical analysis, large-scale spectral clustering, etc. In real cases, single machine cannot store and compute all the data, thus we need to use distributed storage system and parallel computing platforms to achieve our goals. Apache Spark has been one of the most charming parallel computing software in the past few years. This paper implements algorithms on large datasets by multiple ways and through comparing their performance, it shows ways to develop efficient big data analysis toolkit for medical and financial cases based on Spark. This paper also docks the algorithms with data visualization tools for better user experiences. Key words: Data Analysis, Spark, Clustering, Distributed System, Parallel Computing  目 录 第一章 绪论 1 1.1 课题研究背景 1 1.1.1大数据应用的研究概况 1 1.1.2 开发用于大规模医疗和金融分析的算法工具包的意义 1 1.2 大规模并行计算的研究概况 2 1.2.1 计算架构 2 1.2.2 并行化数据挖掘算法 3 1.3 本文内容与研究意义 3 1.3.1 实现内容与应用场景 3 1.3.2 重点解决的问题 4 1.4 论文结构安排 4 第二章 系统架构的设计 5 2.1 分布式文件系统和并行计算引擎 5 2.2 算法工具包 6 2.3 用户接口 6 2.4