电子商务系统中的大数据处理.docVIP

PAGE PAGE 1 电子商务系统中的大数据处理 　　摘要：在当前网上电子商务发展的如火如荼的场景下，高并发，大数据量的情况下，需要对服务器，客户端的实现做相应的优化。本文主要针对数据库中对大数据量处理的实现和优化方式做了阐述，包括数据库设计，数据库查询优化，算法优化和高效的利用索引等方面。 　　关键词：电子商务；数据库；大数据 　　中图分类号：TP391文献标识码：A文章编号：1007-9599（2012）21-0000-02 　　1研究背景 　　在目前的电子商务系统的需求中，高并发和大数据访问的需求显得格外重要。随着电子商务系统得到用户的认可之后，访问量会爆炸性的增长，比如淘宝网站做的“双十一”活动，在一天之内卖出了一百五十亿的销售量。而每年春运时节，铁道部的售票网站则是创下了每天点击5亿以上的并发量。在这种高并发，大数据量的访问之下，如何保证在不断完善功能和多元化发展的同时，如何应对不断上涨的访问量，数据量是电子商务系统所需要面对的最大的挑战。 　　而对于用户而言，除了功能以外，电子商务系统网站的访问速度，电子商务系统能否持续提供高质量，高稳定性的服务，也是影响用户使用感觉的重要因素。因此，如何保证在高并发量，大数据量访问的情况下，电子商务系统的稳定性，也是本文需要考虑的问题之一。 　　2数据库设计 　　要解决在研究背景中提出的问题，最主要的问题就是设计一个合理，高效的数据库模型。数据库模型设计是否合理，对客户端，服务器端程序的编写有难度的编写有着较为明显的影响，这还会关系到以后整个系统的运行性能。因为在整个电子商务系统开始实施前，数据库模型设计必须设计的完整准确。 　　在系统设计的初期，例如系统分析，设计的阶段，由于需要处理的数据小，负担低，所以功能是否完备，是否完整实现经常是我们主要考虑的问题，而性能的强弱我们往往忽视。这就导致了系统实际运行达不到我们预期的目标，经常出现的是：系统在运行一段时间之后，性能往往降低，而这时重新设计系统往往是不可能的，我们只能在整个系统基础上添添补补，就好像打补丁一样，同样也需要花费大量的人力物力资源资金（前面提到的淘宝活动和春运火车票系统等均属于这种情况）。一个较好的做法就是：在数据库模型设计结束之后，我们可以分析可能会出现的系统的不足或者瓶颈，这可以通过建立完整的数据流图来实现，从而在设计的阶段就进可能解决以后出现的问题。 　　数据冗余往往却是一把双刃剑。我们知道，降低数据冗余可以再逻辑设计的时候精简表间关联，可以使得数据库的一致性，完整性得到保证，从而清楚表达表间，元素间关系。而这样往往会带来另一个问题的思考：那就是出现大数据表时，由于需要涉及到多个表之间的关联查询等，适当的数据冗余却可以使得性能在一定范围内提升，也会使得客户端程序的编写更为简化。因为，物理设计需要统筹考虑，往往我们做出的只是一个折衷的选择。比如根据关联表的大小以及数据的访问速度等，我们可以适当提高那些访问频率比较大的查询表的数据冗余，虽然使得程序变得复杂，但是也提高了系统的响应速度。因此设计人员在设计阶段应该统筹考虑，尽量得出一个较为均衡的结果。 　　除了上面的设计原则之外，还要注意表的设计问题，总的来说，有下面几个原则：（1）数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。（2）如果可以同样清楚表达某一数据，尽量用数字类型的字段而不是字符串。这是出于提高查询连接性能，以及存储开销方面考虑的。因为数字型在有哪些信誉好的足球投注网站引擎中只需要比较一次。（3）对于不可变字符类型char和可变字符类型varchar都是8000字节，char查询快，但是耗存储空间，varchar查询相对慢一些但是节省存储空间。在设计字段的时候可以灵活选择，例如用户名、密码等长度变化不大的字段可以选择CHAR，对于评论等长度变化大的字段可以选择VARCHAR。 　　3数据查询的优化 　　设计一个合理的电子商务系统，大批次，大量的数据查询是我们必须考虑的。比如在某银行的业务记录表中，有几千万上亿条的数据，频繁的查询会大大降低系统的性能。因此，在原有功能的基础上，我们应该向着以下几点方向努力：降低数据库访问次数；降低网络的负载，例如通过有哪些信誉好的足球投注网站的改进得到最小化结果集等；或者通过并行处理技术，从而提高响应速度；或者改进SQL的索引排列等；算法的结果尽量简单。 　　建立索引的重要性在小数据量的情况下影响往往没有大数据量明显。因为如果没有建立索引，那么需要查找某一条数据，数据库就需要进行全盘扫描以查出所需结果。数据库比较小的时候，这种全盘扫描对性能的影响比较小；而当数据量达到数千万条的时候，这种全表扫描的查询性能就非常差了。 　　因此，在电子商务系统的大数据处理数据查询的SQL语句中，必须对查询语