基于mesos分布式操作系统时-简介可公开.pptx

基于Mesos的分布式操作系统王璞@数人科技

为什么要用分布式系统？成本低廉3

分布式系统设计理念动态资源管理可横向拓展，管理数百台至上万台服务器像使用一台电脑一样使用整个分布式集群采用性能中等的服务器而不是高配置服务器高可用，不允许单点失效，要对软硬件容错应用程序：多实例、负载均衡、服务发现数据：复本、分片、一致性哈希环数据本地性，让计算任务找数据，减少通讯开销4

LinuxOS与DistributedOS对比5LinuxOSDistributedOS资源管理LinuxKernelMesos进程管理LinuxKernelDocker任务调度init.d,cronMarathon,Chronos进程间通讯Pipe,SocketRabbitMQ,Kafka文件系统ext4HDFS,Ceph

Mesos3Masters，由Zookeeper负责协同~1,000Slaves，每个2核CPU、4GB内存应用平台/框架：Marathon、Chronos、Spark、Storm6

细粒度资源分配Framework1-StormFramework2-SparkFramework3-HadoopCoarse-GrainedSharing:Fine-GrainedSharing(Mesos):+提高资源利用率、程序响应速度、数据本地性StorageSystem(e.g.HDFS)StorageSystem(e.g.HDFS)Fw.1Fw.1Fw.3Fw.3Fw.2Fw.2Fw.2Fw.1Fw.3Fw.2Fw.3Fw.1Fw.1Fw.2Fw.2Fw.1Fw.3Fw.3Fw.3Fw.27Fw.2

两级资源分配策略Mesos把集群可用资源报告给上层应用平台/框架，让平台自行选择把哪些可用资源分配给要执行的任务

好处是使得Mesos设计逻辑简单，可扩展性强，能支持各种应用平台非全局统一资源分配策略不一定最优8好处是使得Mesos设计逻辑简单，可扩展性强，能支持各种应用平台缺点是非全局统一资源分配策略不一定最优

SparkjobSparkschedulerHadoopjobHadoopschedulerAllocationmoduleMesosmasterMesosslaveSparkexecutorMesosslaveSparkexecutortasktaskResourceofferMesos资源分配策略9Pickframeworktoofferresourcesto

Mesos资源分配策略SparkjobSparkschedulerHadoopjobHadoopschedulerAllocationmoduleMesosmasterMesosslaveSparkexecutorMesosslaveSparkexecutortasktaskPickframeworktoofferresourcestoResourceoffer10Resourceoffer=

listof(node,availableResources)E.g.{(node1,2CPUs,3GB),(node2,1CPUs,2GB)}

SparkjobSparkschedulerHadoopjobHadoopschedulerAllocationmoduleMesosmasterMesosslaveSparkexecutorHadoopexecutorMesosslaveSparkexecutortasktaskPickframeworktoofferresourcestotaskFramework-specificschedulingResourceofferLaunchesandisolatesexecutorsMesos资源分配策略11task