青云QingCloud 大数据云平台基础架构实践.pdf

青云QingCloud 大数据 云平台基础架构实践 Agenda ►云计算与大数据 ►系统架构 ►挑战 云计算与大数据 Big Data Requires Elastic, Flexible Infrastructure ► 大数据解决方案最大、最重要的决定是平台的选择 Hadoop、Spark、Hbase、Storm… ► 实际需求 实时处理 、离线处理、 结构化数据 、非结构化数据、 CRUD 、事务性、 数据量大小 ► 平台的能力 能满足实际需求的平台才是好平台 ► 业务的不确定性 Relative scale, not absolute scale The world is changing fast! 云计算与大数据 Don’t try to do it yourself. Let us handle it. 完整 ► 自动化运维 稳定 一键部署 | API 调用 | 定时器 | Auto Scaling 安全 ► 弹性、敏捷、灵活 高性能 纵向、横向伸缩 | 分钟级别 实时 ► 稳定、高性能与安全 按需  系统优化，平台配置优化  私有网络，防火墙 开放  高度自动化是一个渐进的过程 易用 系统架构 Reporting, Visualization Cassandra, MongoDB, Redis, MySQL, ElasticSearch Real Time Batch Big SQL Processing Processing SparkSQL Monitoring Storm Spark Alarm Kylin Logs Spark Metering Metrics Streaming Phoenix Security MapReduce Social Custom Hive Governance Kafka Data /Flume Process