Spark大数据的实现及行业应用案例.pptx

目录; ;技术基础研究方向; 产学研合作项目;开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。 获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。;大数据技术来实现国家经济免疫系统;房地产大数据;碳交易;目录;数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等; 产品名 ;关系型数据库;特点一;特点二;特点三;功能模块;目录; 交互式查询;技术架构解决方案-分布式内存计算;技术架构解决方案-交互式查询;技术架构解决方案-实时在线处理;事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫秒~秒级。 流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。 典型应用场景 有金融在线欺诈预警 广告CTR 推荐系统;技术架构解决方案-批处理及离线挖掘;目录;项目需求 将总行下发的数据及核心业务数据，经过数据整理、加载到省级数据中心，并进行各项业务快速应用开发 数据源 某省公积金中心，近五年的操作、交易记录，共10亿条左右。 系统环境 4台X86架构的PC服务器，共128G内存 单台服务器，8核CPU,32G内存 解决方案 Hbase导入海量数据，并支撑大数据查询 可视化设计、可视化报表实现了数据的实时分析 ;行业应用案例-金融;行业应用案例-金融;持卡客户多维分析： 持卡客户人口统计特征分析 持卡客户交易行为模式分析 持卡客户应用场景分析 特约商户多维分析： 商户基本信息分析/商户业务收益分析 商户价值贡献度评估／商户收单风险分析 持卡客户和特约商户双向分析 特定特征客户特定时间消费商户分布分析 特定时间在特定商户消费的客户特征分析;项目需求 烟草工业企业目前积累了大量的数据信息，管理方式由粗放式管理转为精细化管理，产生了利用大数据技术收集、管理和展示分析结构化和非结构化的数据和信息的诉求，于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题。 数据存储 近1年数据，每秒钟10000个数据采集??? 系统环境 硬件环境： 数据库服务器1台+4台分布式pc server 单台4核，16G内存 解决方案 流处理模块处理设备实时数据流 事件预警开发平台，实现问题预警 基于ETHINK数据挖掘建模分析平台,实现疑点挖掘建模 可视化报表设计，完成大数据精益管理;设备健康指数模型：利用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况，实现指标关联分析及问题挖掘目的。;谢 谢！;9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。12月-2012月-20Monday, December 28, 2020 10、人的志向通常和他们的能力成正比例。19:58:4119:58:4119:5812/28/2020 7:58:41 PM 11、夫学须志也，才须学也，非学无以广才，非志无以成学。12月-2019:58:4119:58Dec-2028-Dec-20 12、越是无能的人，越喜欢挑剔别人的错儿。19:58:4119:58:4119:58Monday, December 28, 2020 13、志不立，天下无可成之事。12月-2012月-2019:58:4119:58:41December 28, 2020 14、Thank you very much for taking me with you on that splendid outing to London. It was the first time that I had seen the Tower or any of the other famous sights. If Id gone alone, I couldnt have seen nearly as much, because I wouldnt have known my way about. 。28 十二月 20207:58:41 下午19:58:4112月-20 15、会当凌绝顶，一览众山小。十二月 207:58 下午12月-2019:58December 28, 2020 16、如果一个人不知道他要驶向哪头，那么任何风都不是顺风。2020/12/28 19:58:4119:58:4128 December 2020 17、一个人如果不到最高峰，他就没有片刻的安宁，他也就不会感到生命的恬静和光荣。7:58:41 下午7:58 下午19:58:4112月-20