金融大数据股票分析项目简介.docxVIP

金融大数据股票分析平台项目简介

XX科技股份有限公司编制

目录

TOC\o1-3\h\z\u一、 金融大数据股票分析平台项目背景 3

二、 客户情况及市场情况 3

1. 客户情况 3

2. 市场情况 3

三、 技术选型 3

四、 项目团队构成 4

五、 团队成员技能需求 5

金融大数据股票分析平台项目背景

随着我国经济的发展，经济体制改革以及金融体制改革的深入，证券投资已经成为国民经济运作的一个不可缺少的部分，在资本市场中逐渐形成与银行、保险三足鼎立之势。通过此次数据分析，可以发现在选定的三支股票收盘价中，最高的是亚马逊；大约从2015年2月4日起，亚马逊的股票价格打破原本的僵局，开始迅速攀升；亚马逊的股票成交量没有太大程度的波动；唯有的两次波动发生在两次交易价变动最大的时候；股票价格波动对股票的成交量有着非常巨大的影响，两者存在明显的强相关关系；利用移动平均，将股票收盘价进行移动平均后，发现股价的上升幅度明显小于原本的收盘价；指数异同移动平均也可以观察到，亚马逊的股价上升的部分大于下跌。大数据技术日新月异，每天都会产生海量的数据，这些数据具有容量大，种类多，增长速度快，有价值的特点。股票投资市场也是如此，每天产生的股票数据量的增长难以预估,股票市场的价格走势是不确定的，股票数据中隐含的有价值的信息很难被发觉。比如，股票的价格走势，利润趋势，如何对股票的价格走势，利润趋势进行合理的推测，是现阶段需要解决的一大难题。本文利用大数据技术来对每只股票的利润进行分析，计算，预测。为了解决股票大数据的处理的难题,我们提出了基于hadoop大数据的分布式并行计算框架设计方案；运用mapreduce模型完成对每只股票的运算，实现对股票数据的整合、计算，帮助人们找出股票中隐含的有价值的信息。

客户情况及市场情况

客户情况

股市是市场经济的必然产物，在一个国家的金融领域之中有着举足轻重的地位，并且对人们的经济生活有着越来越深刻的影响。随着证券市场的逐步规范，人们的投资理念在不断提高，在资本市场中逐渐形成与银行、保险三足鼎立之势。而且，它在筹集资金时，速度最快，能力最强，成本最低，最符合市场经济的规律。因此它的发展速度也是最快的。但是，股市的暴跌暴涨会对金融市场产生很大的震荡，将会直接影响到金融市场的稳定和经济的健康发展。

市场情况

随着大数据技术的蓬勃发展,越来越多的数据等着我们去识别,读取,归类,计算。针对于股票市场,如何利用大数据技术去发掘股票中隐含的众多有价值的信息,帮助股民合理购买股票,获得最大利润是我们急需解决的难题,目前在股票领域的大数据研究尚不完善。因此，我们提出利用hadoop分布式框架来对每只股票的利润进行分析的方案，用到的主要技术是分布式并行计算(mapreduce)和分布式文件存储系统(HDFS)。对于每只股票的数据会冗杂在一起,形成庞大的数据量的情况，目前比较主流的海量数据存储系统主要采用HDFS文件系统。目前,在股票行业中,每支股票每天产生的数据量难以预估，隐含的有价值的信息难以提取,如,开盘时间,闭盘时间,开盘价格,闭盘价格,多个特征中如何提取有用信息,如何有效准确的计算股票数据,在该领域的研究还有待完善。对于股票数据的分析处理问题,我们提出了合理可行的方案,基于Hadoop的并行式计算框架运用了HDFS存储机制和Mapreduce的并行式运算,可以有效合理的解决上述问题。基于hadoop大数据的分布式并行计算框架设计方案,依赖快速高效的mapreduce,实现实时大数据的复杂计算,提供每一支股票的年利润、总利润、平均利润等特征,并对明年股票进行分析和预测。

技术选型

CDH/FlumeKafka 数据采集，结合数据流技术对接各类应用系统及数据库的数据资源

CDH/HDFS 文件类数据整合与存储，HADOOP技术路线

CDH/HBASE 格式类数据整合与存储，HADOOP技术路线

CDH/HIVE 数据清洗

CDH/SPARK 离线数据开发及处理

FLINK 实时数据开发及处理

CDH/SPARK 数据服务及安全

CDH/YARN+CM 数据负载及集群管理

CDH/HIVESparkML 数据分析及智能

TABLEAU 针对数据分析及智能提供自助式或嵌入式的可视化分析图表

ELASTICSEARCH 针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据有哪些信誉好的足球投注网站

HADOOPYARN 针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具

项目团队构成

姓名

性别

学历

职称

专业

工作单位

项目中的分工

每年工作时间(月)

签字

成员A

男

本科

高级大数据工程师

应用电子