大型网站架构设计与分析的经验总结.pptVIP

电影资讯/社区网站 X网站是大型的电影资讯,电影社区,向外提供电影相关信息服务,以及用户社区,其中信息服务部分, 其中大部分页面属于信息呈现页,读取量比较大,百万级别pv,信息主要由编辑在后台发布,更新较少,但其页面上有大量的交互性的内容,比如评论,收藏列表,同时许多内容允许用户创造,比如上传图片,添加注释.交互内容的数量和交互的频繁程度,都超过了普通的咨询页面,这次调整,准备将其中访问量最大的几块:电影资料页,影人资料页,进行静态化,如果成功,还将运用到更多的频道,基本实现全站静态化。 优化调整时的问题 页面生成的触发条件复杂 一般论坛中的帖子或者blog,更新方式比较单一:主要是由回复进行触发还有少数的修改动作,然而该网站一个页面上需要根据不同触发条件就有20多个, 比如光二级菜单:用户发布图片,删除图片,发布或者删除影片信息,发布或者修改视频,后台修改电影信息,都有可能触发 一个动作触发生成的页面可能很多而且相互交叠 每一个动作都会触发一系列的生成,并且不同动作可能都会涉及同一个页面或者区域的生成. 比如:用户给一步电影评分,需要生成评分更多页,评分统计更多页,首页右侧谁还关注此影片小区域,等等.用户收藏一个影片,也需要更新首页右侧谁还关注此影片小区域 触发频繁: 虽然不及某些更大规模的网站,但是由于涉及众多用户参与的内容,评论,收藏等等,触发点多,发生频度相当频繁 优化调整时的问题 页面多,结构复杂,空间占用大: 通常,需要生成的页面规模是这样粗略估算的,Rn*P,Rn为资源数,P为每个资源的页面数,所谓资源,可以看做一个生成单位,其页面数可以简单看做发布一个资源,就需要生成其所有相关页面数量,比如:发布一个blog,就需要生成一个Blog页,同时还需要生成或者更新个人主页的blog列表,算上个人主页右侧的分类文章数的小块,也就是最多10来个页面或者区域,但是发布一个电影,其相关的页面至少有50个以上,而且有的页面还带有分页,一个信息比较丰富的电影,其页面竟可以达到千个以上,空间10~20M,而且资源总数也不少,电影80000左右,电影人虽然P值较少,但是总量确有几十万之巨,估计静态页面磁盘占用量几百个G 向下兼容 这是一个已有系统,旧系统的框框需要突破,但又没有时间,或者不能完全突破,比如Url,已经被收录到有哪些信誉好的足球投注网站引擎,就不能随便调整,还有一些地方,原本没有为静态生成考虑,另一些地方又需要兼容旧的设计。 优化调整时的问题 多台前端Web 这种结构要求生成的文件可能需要分布到多个服务器(另一个方案是放在几台专用的机器上,等前端来取) 任务紧迫 架构讨论结束后, 所有底层框架实现,页面模板开发,调试测试,动作的整理,必须接着完成。 架构必须要有的特点 综合考虑上述因素,架构必须要有以下几个方面的特点 动作可以灵活扩展配置,某个动作对应哪些生成,应该可以配置,并且可以分组 文件必须有分发机制 分发和生成必须独立出来,并且支持分布式 各种的动作,必须转化为消息,发送到生成和分发服务器进行处理 针对同一资源频繁动作,在变量相同的情况下能够具有合并的能力 动作必须有记录 尽量考虑使用已有成熟技术,节省开发时间 第一个架构 第二个架构 第三个架构 管理软件 第一点：一个管理软件，是为某软件公司开发的软件。 第二点：这是一个需要插件体系的B/S软件，需要通过一些简单配置去实现新功能（包括工作流，但不仅是工作流） 第三点：为了追求易用性，因此需要在B/S中实现单机程序的风格页面，因此可能会包含大量组件，大量复杂页面展示逻辑。 第四点：需要分布式部署 第五点：在特殊需求下，需要在网页内调用一个富客户端完成工作，而客户可以接受的唯一安装的东西是JVM，因此这个软件不需要其他的客户端 第六点：客户的办公室分布在多个城市，需要高速响应用户的需求，抛开网络问题，需要在客户每个城市放上一台或多台服务器。 第七点：在线人数会非常大，因此需要可以横向扩服务器。同时需要较快的访问速度。 第八点：系统大部分地方对数据的查询与写入是二比一的比例，或者说：有很频繁的更新操作 第九点：系统对事务要求较高，因为有财务，还有成本估算等模块，因此不允许垃圾数据的存在，并且事务要求是全局的。 典型的模块 下面分别描述几个典型的模块：1.消息系统。需要一个完善的消息系统，支持从Email到RSS，站内消息的模块，同时也需要支持手机短信，以及未来可能需要的一些通知方式。2.工作流系统需要自定义的工作流，并且工作流需要实现的流程是跨地区的，比如有的流程在一个城市，另一个流程在另一个城市，流程之间可以轮转。3.在线的绘图、会议这种地方需要实现在页面内绘图，如果需要，允许使用客户端（但不需要安装，现在考虑的是JavaWebStart）4.IM，（要求也是在