智能云端时代的分布式系统研究.PDF

智能云端时代的 周礼栋 分布式系统研究 微软亚洲研究院 云计算，大数据，人工智能时代？ 大系统时代 新大系统时代的机会和挑战 人工智能和系统的 硬件多样异构性 超大规模复杂系统 融合 • 软硬件的协同 • 云和端的交互 • 人工智能应用 设计及优化 和协作 对系统设计和 • 新的调度和资 • 新的抽象、协 架构的挑战 源管理 议和方法学 • 人工智能在超 • 编译器设计和 • 重新思考系统 大规模复杂大 优化 可靠性的基础 系统中的应用 分布式系统研究机会实例 云计算系统中的灰色故障 基于GPU 的人工智能系统中的调度算法 深度学习的编译架构 系统可靠性：学术上已解决的问题？ •容错技术(Fault Tolerance) • 冗余(Redundancies) • 状态机复制(State Machine Replication) • 一致性协议(Paxos) • 纠删码(Erasure Coding) 6 现实情况却是。。。 7 灰色故障 symptom A component either A component appears to be still working but A component may • subtle and ambiguous: e.g., switch random packet loss, non-fatal works correctly or stops is in fact experiencing severe issue behave arbitrarily exceptions, memory thrashing, flaky disk I/O, overload.. Fail-stop Gray failure Byzantine occurrence process pair TMR PBFT Zyzzyva • across s/w and h/w stack in the infra due to various defects • behind most service