从零到千亿级实时数据处理_徐振中.pdf.pdf

从零到千亿级实时数据处理 “流”化你的应用构架 链接 – https://netflix.github.io/ – /project/netflix 话题 •Netflix日处理千亿级数据平台 •大数据技术简短历史 •深潜流构架及技术基础 •为什么你的App也“流”的转 ！ Before we start... 大家来回忆一下: 如何用最基础的数据结构实现hash table ？ Before we start... 大家来想一下: 为什么“有些人”总不让你用全局变量 ？ Netflix Keystone Pipeline ● 日处理七千亿条／1+ PB 数据 ● 顶峰每秒处理1千万条 ／20+ GB 信息 ● 3000+ Kafka brokers ，12 clusters in 3 regions ● 10,000+ Docker容器部署 We help Produce, Store, Process, Move Events @ Cloud scale Keystone构架 Control Plane EMR y Samza x Fronting o Router r P Kafka Stream S Consumers K Event Consumer Producer Kafka Netflix Keystone Pipeline ● 横向可扩展构架 ● 完全构架在AWS云端基础设施上 ● At-least-once 投递保证 ● 容纳back pressure ，容纳云端不稳定基础服务 ● Sink level isolation ● 同时支持数据中心内及跨洲际数据中心failover ● High availability, scalability durability ● Streaming Architecture Big Data History 为什么要用Streaming Architecture ？ Big Data History Big Data History 对流数据的现实需求 ● 数据爆炸性增长 Big Data History 对流数据的现实需求 ● 数据爆炸性增长 ● 数据处理模式的需求变化 如何实现hash table ？ 如何实现hash table ？ 教科书说： 如何实现hash table ？ 如何实现hash table ？ 如何实现hash table ？ Commit log Commit log 是很多分布式系统中的核心 ● Database Replication ● Paxos Consensus ● Kafka