基于数据湖架构的商务智能.pptx

基于数据湖架构的商务智能方案技术创新 变革未来（商务智能）是什么？BI技术的光谱图优化的应该采取什么样最佳行动？线性和非线性数学建模高预测可能会发生什么？ 商务智能技术数据挖掘，大数据预测分析仪表盘，记分卡OLAP和可视化工具复 杂 性分析为什么发生？监控现在正在发生什么？报表已经发生了什么？查询，报表和有哪些信誉好的足球投注网站工具低高低业务价值谁是 的用户？管理驾驶舱：全景经营动态、管理经验沉淀专业经营分析落实战略目标，专业创造价值全流程报表数据跨系统贯穿，提高工作效率 决策 层 部门管理层 业务骨干 层构建企业级数据分析服务体系数据分析服务Proactive, Predictive, Product-Like业务需求 BI核心组件销售促进Offered Services趋势分析213自由分析成本控制统计分析产品研发传统报表客户满意4 面向客户体验的平台业务驱动界面友好方便便捷快速响应数据湖技术架构作为企业级 平台基础数据访问数据存储数据分析数据源数据集成MapReduce/PIG Load / ApplySqoopHDFS企业数据数 据 分 析 应 用数据协作数据查询数据挖掘数据建模平衡积分卡数据可视化嵌入式分析WebBrowser社交数据门户Single Source移动设备Transport / Messaging数据集市HCatalog非结构化数据HCatalog Pig Can work with most ETLtoolsWEB Service外部数据元数据管理元数据管理 - HCatalog数据安全管理网络、协议、访问中间件硬件和软件平台数据湖技术对比传统数据仓库的优势商务智能机器学习关系型数据+非关系型数据可处理的数据量从PBs扩展到EBs数据查询大数据处理交互实时数据库不需要预先设计数据分类更多样的分析引擎（Hadoop、机器学习…) 10011000010010101110010101011100101010000101111101101000111100101100101100100011000010数据湖数据仓库为低成本的数据存储和分析而设计设备 网页 传感器社交软件OLTP ERPCRM LOB数据湖技术组件数据迁移数据存储数据分析Amazon Elastisearch ServiceAmazon VPCVPN ConnectionAWS DirectConnectAWS DatabaseMigration ServiceAWS StorageGatewayAmazonGlacierAmazonQuickSightAmazon S3Amazon EC2Amazon EMRAmazon Kinesis StreamsAWSImport/ExportDiskAWSImport/ExportSnowballAmazon DynamoDBAmazon RedshiftAmazon EC2 Container ServiceAmazon RDSAmazon MLAmazon Kinesis FirehoseAmazon Kinesis AnalyticsAWSData Pipeline数据湖技术组件应用场景Elasticsearch ClusterAmazon QuickSight非结构化数据S3 Bucket(unstructured)EMR Cluster报表Redshift DB结构化数据S3 Bucket(structured)Amazon ML应用DynamoDB TableKCL流数据Amazon Kinesis StreamsAmazon Kinesis FirehoseAWS LambdaFunctionsAWS Data PipelineAmazon Kinesis Analytics数据湖技术架构和生态系统用户用户APIConnectorsData PrepMetadataSPICESuggestionsAmazon RedshiftAmazon KinesisAmazon DynamoDBAmazon EMRAmazon S3FilesAmazon RDSThird-partyERP CRM MES设备视频业务系统通过全托管数据仓库对数据进行分析查询可采用标准SQL和现有BI工具分析数据对PB级结构化数据进行复杂的分析查询 大规模并行查询可随时弹性扩/缩容低成本AmazonRedshift可直接对S3中EB级非结构化数据查询，无需加载转换兼容CSV、Ion、JSON、TextFile等多种数据格式全托管数据仓库 弹性扩 缩容SQL Clients / BI ToolsJDBC / ODBCLeader 节点10GbEResize查询计算节点计算节点