智慧审计大数据云平台整体解决方案.pptx

智慧审计大数据云平台整体解决方案 云-正在重构的交通运输体系 SaaS PaaS IaaS 时代的挑战 应用为中心向数据为中心迁移 应 应 应 应 应用 + 平台 用 用 用 用 系 系 系 系 统 统 统 统 应用为中心向数据为中心迁移 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 应用 数据库 … 云应用服务器 云关系数据库 大数据库软件 应用中间件 虚拟机 虚拟机 云平台ꢀPaaS 虚拟化ꢀIaaS 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟机 虚拟化ꢀIaaS 云海平台 平台设计三要素 云海ꢀIOPꢀv3.0ꢀ 云海ꢀIOPꢀv3.0ꢀ产品特性ꢀ 云海IOP发展历程 上云分析 无法上云 尽量上云 微服务化 启动时间数分钟 敏捷上线 aa 数据整合 数据整合 数据利用 数据整合 传统巨石特征 • 故障有可能发生 • 随时备份数据，用于服务恢复 • 不惜一切代价保证服务器的运行 • 当服务器宕机时-摊上大事了 • 基础设施恢复ꢀ–ꢀ自动或者手动 • 应用恢复ꢀ–ꢀ手动 • 应用模块紧耦合 • 无法根据负载自动扩展 • 很难持续集成 • 应用聚合困难(ESB) • 应用升级麻烦 巨石应用和云化应用的特征对比 传统巨石应用 云化应用 很难根据负载自动扩展 应用模块牵一发而动全身 应用的恢复是靠人工的ꢀ 自动，水平扩展 应用由多个微服务组成，松耦合 应用的恢复是自动化的ꢀ 应用的物理环境的出错是可以接受的 应用系统的物理环境错误导致业务停 顿ꢀ 不遗余力的保障物理机的运转ꢀ 物理机的宕机是一件特大事故！ 物理机对应用不是那么重要 没什么大惊小怪的！ 积极备份数据以便应用环境出错时恢 复ꢀ 设计时要尽量避免数据恢复的必要 升级时候不睡觉 灰度发布、发布回滚 持续集成 一期项目就半年，一期接一期 巨石应用和云化应用的技术对比 传统巨石应用 云化应用 垂直扩展；硬件定义可靠性 水平扩展；应用设计消除对基础设施的依赖性 虚拟化 轻量级运行环境（容器，进程，PaaS平台） 松耦合，微服务，API 3层架构，有状态，紧耦合 对操作系统和虚机有察觉和依赖 抽象于操作系统、虚机和容器 管理员控制 系统控制（自动扩展，自动配置，自动恢复） 瀑布式开发ꢀ敏捷开发 敏捷开发ꢀ持续集成，持续部署,ꢀDevOps 应用上云的分层实施 IaaS 物理设备 负载均衡 应用 应用 应用 应用 应用 应用 VMware/Openstack/IncloudꢀOS 数据整合 应用创新 服务器 DevOps助力快速应用创新 集成开发云 测试云 生产云 本地开发测试环境 负载均衡 自动化测试 IOPꢀDev 本地云服务模拟 + + IDE 容器 容器 SDK 通信 提交代码 微服务 MDB RDS 单元测试 打包发布 服务绑定 数据总线 测试服务 开发服务 Hadoop 对象存储 开发服务 基础服务 大数据服务 数据库服务 应用中间件服务 分布式开发服务 持 续 集 成 交 付 服 全 局 配 置 推 送 弹 性 主 机 对 象 存 储 负 载 均 衡 流 式 计 算 数 应 用 引 擎 消 息 队 列 搜 索 引 擎 务 注 册 与 发 现 断 路 保 护 器 据 总 线 云海Insight大数据处理套件 产品名 技术架 关键功能特性 适应场景 响应时 间 称 构 l 可视化运维 基于 l适合PB级以上的海 量数据离线处理 l大数据应用建设中 构建基础资源库 云海 Insightꢀ HD l 统一用户、证书认证 Hadoop大 规模分布 式架构 l 滚动升级 分钟-小时 l 4000节点的横向扩 展能力 l处理TB-PB级的结 构化数据的数据仓 库和数据集市的最 优选择 lBI领域替换传统架 构 基于MPP 架构的分 布式关系 型数据库 l 查询性能是传统关系 数据库的10-100倍 l 支持千节点内的稳定 运行 云海 Insightꢀ MPP 毫秒-分钟 l 支持Key-Value、及 基于内存 的无共享 分布式架 构 l适合GB-TB级规模 超高并发访问的 云海 Insightꢀ MemDB SQL关系型存储 l 跨地区集群能力 毫秒-秒 OLTPꢀ和OLAP实时 计算和加速场景 l 支持分布式事务 l 毫秒级响应 大数据处理平台面临业务的复杂性、多样性、数据量大、以及各种业务数据处理时间要求的不一致性，仅 靠单一产品无法满足业务需求，组合使用，效果更佳 云海IOP弹性大数据计算服务EMR-让大数据平台敏捷、易用、智能 计 ꢀꢀ多租户 ꢀ弹性服务 基础服务 算 扩 容 小规模