互联网培训材料.pptVIP

流量本网率是指互联网流量中网内流量所占的比例，该值越高，说明网内流量越多，成本就越低，质量也就越好。 辽宁移动数据情况说明： 6月份，我省的流量本网率为90.25%。从我省2014年1-6月份统计数据来看，我省流量本网率在90%附近波动，较为平稳。 流量本网率数据来源于DPI系统，辽宁移动的DPI厂家为宽广 点击本网率数据来源于DNS分析系统，辽宁移动的DNS厂家是泰策（智能DNS系统） 我们当前使用的红柑桔的第三方厂家的系统 缓存的服务范围： 1.公有协议 2.私有协议（风行等P2P） 3.移动应用的缓存（应用下载，移动苹果在中国的CDN在电信和联通，所以移动需要也缓存进来） 4.后续云缓存 小文件的缓存实现方式： DNS劫持和DNS FORWARD两种方式： DNS劫持：请求在出口上监控，（用户如果指定DNS服务器如google就不行了，但forward是可以的） DNS FORWARD： 大文件的方式（做分光）：出口监控（get请求）+重定向 缓存镜像后会给用户发302进行重定向 大文件：流媒体 P2P P2PStream/PPLive/QQLive/QQ旋风 1.终端发请求到root check上，然后再进行调度 WEB小文件： 1.向本地DNS服务器解析请求 2.本地DNS进行递归（它是一个缓存性的服务器，不是权限服务器） 3.（在出口进行监控）如果发现请求的网站 大文件： 1.大文件使用302进行缓存 P2P 内网：用户、PEER 1.向 TRACK 服务器进行注册和请求 2.BT种子文件中记录了资源有哪个track服务器 缓存技术对比： P2P的公开协议和合作协议： 小文件：网页、图片、 CSS/XML、js 大文件：exe,msi,zip,mp3,视频(flv,f4v,fwf),iso,ipa,apk、100M~2、3G 小文件的方式，如果直接使用IP的话，没有DNS解析所以就不行了。但大文件是可以的。 支持的业务： 这些都算HTTP缓存 WEB网页、图片等 HTTP下载：更新、下载 流媒体 移动应用缓存 P2P: 电驴、BT、迅雷属于公开的协议 PPS PPTV QQLive 暴风影音等属于私有视频协议 私有：QQ旋风 * ZZNODE BD2 直真数据网管 产品功能架构 互联网内容资源管理系统培训材料 2015-3 * 0.目录 1.到处是爬虫 资源结构、广度优化 3.资源引入建议 去重、可缓存 5.移动互联网分析 APP、手机浏览器 2.资源分布 资源分布、可缓存判断 4.缓存 黑白名单、命中率 * 1.到处是爬虫 页面结构 网内（省内 + 省外） / 总服务流量 爬虫原理 分析页面超链接 广度优先，深度一般为5层 多网站并行爬取 也不能爬太快 很多爬虫 Google, Baidu一个月建立一个索引 Sina门户有上亿的资源 1. javascript 2. css 3. 图片 4. 超链接 页面结构 * 2.资源分布 资源分布 判断省内资源的归属情况，省内、外省、电信、联通、铁通、其它 可缓存判断 对资源进行是否可缓存的判断 结合用户的缓存经验库 判断算法 资源：http header中的三个字段 域名：只有一个资源可缓存 网站库 * 3.资源引入建议 去重 IDC、CDN、CACHE协同去重 自建、租用CACHE去重 分析出重复的资源引入（部分省份不开展，主要原因去重工作的影响面） 引入建议 资源引入建议 资源引入优化建议 * 4.再说说缓存 缓存分类 P2P、HTTP（小文件、大文件、动态） 缓存厂家（辽宁） 华为（全线产品） 网宿（P2P，HTTP小文件、手机加速、动态协议） 不断成长的可缓存判断算法 自动算法 + 经验库（用户根据本省实际情况适配） 目前只使用静态配置的黑名单、白名单 * 5.移动互联网分析 基于手机抓包 单APP、定制场景分析 基于Gn口DPI 数据量大、用户行为分析 THANKS A TON 流量本网率是指互联网流量中网内流量所占的比例，该值越高，说明网内流量越多，成本就越低，质量也就越好。 辽宁移动数据情况说明： 6月份，我省的流量本网率为90.25%。从我省2014年1-6月份统计数据来看，我省流量本网率在90%附近波动，较为平稳。 流量本网率数据来源于DPI系统，辽宁移动的DPI厂家为宽广 点击本网率数据来源于DNS分析系统，辽宁移动的DNS厂家是泰策（智能DNS系统） 我们当前使用的红柑桔的第三方厂家的系统 缓存的服务范围： 1.公有协议 2.私有协议（风行等P2P） 3.移动应用的缓存（应用下载，移动苹果在中国的CDN在电信和联通，所以移动需要也缓存进来） 4.后续云缓存 小文件的缓存实现方式： DNS劫持和DNS FORWARD