大数据分析技术架构解决方案通用课件.pptVIP

大数据分析技术架构解决方案?大数据分析平台?产品技术架构?典型行业应用案例

-技术基础研究方向研究方向制高点关键任务1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技2）国内产品领先术1）基于大数据内存的计算技术1）大数据自然语言识别大数据语义分析2）非结构化数据的知识发现、大数据平台的可视化集成目前是空集成技术白领域1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台大数据云计算技术

大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。

审计行业大数据知识推理系统大数据技术来实现国家经济免疫系统传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现依据小样本经验地毯式排查审计跨12个行业，跨地区数据源智能化，具有预测功能大数据分析，建立抵御和预防手段大数据知识推理系统疑点数据

房地大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型

碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数

目录?联合实验室?大数据分析平台?产品技术架构?典型行业应用案例

数据挖掘应用领域数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等

产品产品名ETHINK可视化挖掘通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出概要特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘，速度快

ETHINK产品架构电脑手机平板可视化数据挖掘平台统计分析平台多维自助分析内存计算服务Scala/Java/PythonSQL接口JDBC/ODBCOLAPServer数据挖掘模型算法库/语义分析交互式查询实时流处理批处理关系型数据库Hbase/Hive/Hdfs调度管理

特点一传统的关系型数据(mysql、Oracle等)列式数据库(Hbase)非结构化数据(Hdfs、文件系统)大数据（Hbase、Hive）?可扩展性强?自定义模型，扩充组件?JDBC?WebServices?Restfulapi

特点二GBPB?BS结构，一站式建模、评估、部署?基于Spark平台?内存计算?运算速度快

特点三执行数据挖掘时，方法论非常重要.因为准确的方法论能够提高作业速度,能系统地减少各种进展状况，所以选择正确的方法论是很重要的.CRISP-DM方法论是全球认可的数据挖掘的标准执行方法论.?基于Spark平台?内存计算

场景应用（实验室模拟实验课题）功能模块1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资金融电信行业电力行业1.电力负荷预测2.自适应防窃漏电实时诊断1.电子商务网站用户行为分析互联网行业2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估1.制造设备生命周祺管理2.制造业投入产出预测制造业行业公共服务业1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估

目录?联合实验室?大数据分析平台?产品技术架构?典型行业应用案例

技术架构解决方案-要解决的问题基于spark内存的计算模型，同时支持批处理、交互式处理、流处理。批处理交互式查询实时流处理实时在线处理

技术架构解决方案-分布式内存计算批处理应用（分钟级别~小时级别）实时流处理（持续不断）OLTP/在线事务处理应用（毫秒~秒级别）OLAP/在线交互式分析应用（秒级别）

技术架构解决方案-交互式查询?通常的时间跨度在数十秒到数分钟之间–按数据维度进行统计、聚合–根据历史数据进行拟合和预测–计算数据之间的相关性和模式等–适合提供高速在线分析服?典型应用场景–政府各部门数据–证券交易–银行保险–企业ERP/CRM等?适用于数据量在GB到TB的高速数据分析

技术架构解决方案-实时在线处理?通常的时间跨度在数百毫秒到数秒之间–数据来源多、高并发、数据处理量达–分析