视频CDN及企业级云视频系统建设关键要点.ppt

视频CDN系统建设关键要点 夏彦刚 乐视网-CDN技术专家2013年7月 摘要 1、硬件商务预算 2、文件分发系统3、智能调度系统4、WEB服务器 图片CDN /视频CDN 视频CDN系统建设关键要点 案例简述： 网络视频是如今十分主流的应用，视频播放的流畅度和稳定性尤为重要。CDN系统在提升用户体验方面起着十分重要的作用，本案例主要是剖析视频CDN系统建设的主要要点：CDN系统的服务器带宽采购、文件分发、调度系统、WEB服务器等内容 b)　设计目标： 自建一套稳定高可用、效果出色、易于管理和维护的视频CDN系统，提升用 户的视频播放体验，提升公司的行业知名度和竞争力 自建CDN的优点： 免受市场价格波动的困扰，有利于成本降低，且可控性较高 行业分析 CDN服务商 代表企业 优势 劣势 专业CDN服务商 蓝汛、 帝联等 进入市场较早，具有成熟的运营和服务能力 受制于运营商带宽费用制约 提供CDN服务的IDC运营商 网宿科技、 世纪互联等 拥有带宽资源优势 需要添置大量的服务器、网络设备资源，成本高 电信运营商 中国电信、 中国联通 拥有巨大的带宽和网络优势 资本实力雄厚 品牌优势 跨网络运营的问题难解决 不是主营业务，运营经验和服务能力不强 自建CDN的互联网企业 优酷土豆、 乐视网、 奇艺网等 节约成本，可控性较高 投资大，成本高 非核心业务，需要专业团队运营 国外CDN服务商 akamai、Limelight Networks等 资金雄厚，技术运营和服务能力强 存在安全隐患 怎么做到的 主讲内容： （1）商务预算 （2）文件分发 （3）调度系统 （4）WEB服务器 1.1 商务预算之带宽 系统容量：满足100万人同时在线播放视频 带宽需求 A.标清：350kbps*100,0000=350Gbps B.高清：800kbps*100,0000=800Gbps 实际带宽 A.未来业务发展可能会需要更多带宽 B.需要20%—30%冗余带宽备用，应对突发流量 1.2 商务预算之服务器 服务器数量 A.100,0000/100=10000 100台*并发连接10000 B.100,0000/1000=1000 1000台*并发连接1000 服务器性能分析 A方案：硬件要求过高，成本过高 B方案：普通服务器可支持，单机1000连接，1G带宽 1.3 商务预算之IDC部署 QQ用户实时在线分布图/online/index.shtml 部署原则： 1.用户分布密度 2.公司区域战略 2 文件分发系统要点 分发模式比较：push/pull CDN节点分类 分层分发策略 分发网络模型构建 下载速度提升方案 文件一致性保障 分发状态记录 源文件上传 转码 分发到存储节点 生成播放页 全网分发 放出页面 2.1 分发模式比较 序号 功能点 PUSH模式(推) PULL模式(拉) 1 应用示例 土豆网、酷6网等 图片CDN系统 2 分发特点 智能分发、 主动分发、 提前预发布 被动分发、 按需分发、 最适合小文件 3 驱动方 分发管理中心系统 用户请求miss时 4 下载器 Agent/web服务器 Web服务器 5 节点文件量 节点只保存部分文件 每个节点均为全量节点 6 文件管理 需要上报分发状态 一般不需要状态 7 分发协议 HTTP/UDP,多线程,P2P (HTTP)Proxy取源 8 完整性 分片校验、整体校验 不校验 我们的策略：PUSH+PULL，两种方式相结合，PUSH为主PULL为辅 2.2 CDN节点分类 （1）中心节点 存储节点,磁盘空间足够，方便扩容 分发的中心节点，最终源节点 服务区域中心节点未命中的请求 （2）区域中心节点 非全量文件，主要的分发源 服务边缘节点未命中的请求 具有较强的抗压能力，支持高并发访问 带宽充足，有SSD磁盘更好(高IO能力) （3）边缘节点 就近部署，离用户最近；服务80%以上用户 磁盘空间有限，仅存储热点内容 （4）第三方备用节点 网宿、蓝汛、快网、帝联…… 2.3 分层分发策略(按节点) 按层次生成分发任务： 取源节点选择： 根据各个IDC机房之间的网络选择 依据smokeping数据构建分发网络 2.3 分层分发策略(按热度) 2.4 分发网络模型构建(smokeping) smokeping特点： Opensource(http://oss.oetiker.ch/smokeping/) 多种探测方式，包括fping、echoping、dig、curl等 易用可扩展的插件 master/slave的工作方式 有特色的alert设置 2.4 分发网络模型构建(smokeping) 源节点 目标节点 延时[ms] 丢包率 探测时间 5001