大数据环境下网上选课系统能效优化探究.docVIP

大数据环境下网上选课系统能效优化研究 　　摘要：为了解决我校选课系统在选课时阶段性高负载造成的“峰值堵塞”问题，该文采用大数据分析方法，基于云计算技术和海量数据的支撑，以我校综合教务系统为例，对数据库进行多方面的性能调整，并对WEB端进行负载均衡配置，最大程度地优化大数据环境下的网上选课系统，使资源消耗明显降低，提高运行效率，缩短系统响应时间 关键词：大数据；选课系统；优化 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）22-0001-02 1 高校大数据发展现状 目前高校大多还处于大数据应用的原始阶段，在实际应用中出现越来越多的非结构化数据，结构化数据在信息化校园数据中心的存储已不能满足应用需求，这样对数据分析和挖掘技术的要求很高，需要系统设计，谨慎操作。大数据在高校有着美好的应用前景，但数据隐私、数据分析方法有待改进和数据集成困难等问题是目前主要的应用难点，需要进一步建立收集、分析和教育决策的实践体系，以使大数据在高校中的价值得到最大限度的发挥 2 选课系统的复杂性 目前我校本部校区、新校区、医学部校区的主要区域已实万兆主干，千兆到桌面的网络连接。教务系统服务器、学生选课机房均在校园网内，校园网带宽满足选课需求，选课期间教务系统登录缓慢主要问题还是集中在教务系统本身的软硬件方面。我校每个学期末为选课阶段，即每年的6月底至7月中，12月底至1月中，每次选课（包括预选、正选）共15天左右，选课时间相对集中，给系统带来了很大的数据流量，造成系统压力过大。同时，近几年在校学生数量有了很大的增长，在集中选课阶段，系统并发连接数急剧增多，极大加重了数据库负荷，给选课系统也带来不小的冲击。而对于学生的操作，系统必须能响应快速，这样就对选课系统的实时性有了更高的要求 软硬件的性能直接影响到选课系统的能效，诸如服务器运转时间过长、负荷重、硬件老化严重等。而系统本身设计问题也需注意，比如，现在运行系统是针对Window 2000/XP操作系统和JAVA 5.0环境而设计，和当下广泛使用的Window7 64位操作系统以及JAVA8.0环境存在兼容性问题，造成部分浏览器响应缓慢 3 大数据环境下选课系统能效优化 3.1 优化SQL语句 在数据库实际应用中，经常会出现全表扫描操作。若优化使用索引的SQL语句，选课系统能效几乎没有改善，所以重点是优化不含索引的字段。为了缩短查询语句的响应时间，要合理建立存储过程，尽量不进行表扫描等。选课系统数据库中含有大量数据表，Oracle要对这些表进行并序连接。Oracle对FROM中数据表的扫描顺序是：首先最后的数据表，其次第二个，依次进行，若发现经扫描过的第一个和第二个数据表中含有能被合并的记录，则进行合并操作。若连接查询多个表，则首先指定基础表，即被其他表引用的交叉表，然后重复进行 在优化SQL语句时，要按以下规则进行：①不使用或尽量少使用select * 语句，必须指定好所需查询的列。这样避免进行全表扫描导致的系统性能下降。②合理使用where及order by语句。若字段中已建立索引，则可使用Order by，并对其字段个数进行限制， 这样可降低系统的资源消耗。③若表中记录较多，要注意不使用select distinct 语句，因为它要先对表中每一行记录进行查询之后，再进行重复记录集的刷选 3.2 WEB端优化 要优化RESIN的启动参数，在webserver路径下配置四个resin，进行负载均衡。扩充原有VMware云服务器平台，完成虚拟服务及部分存储设备更新，扩大服务范围，增强数据安全保障。目前云平台CPU资源超过100个，内存资源4.7T，存储资源裸容量500T，在网云服务器192个，能够为我校教学、科研及行政管理提供有力支撑。通过云服务器平台为校内多个单位提供云服务器应用，为学校网站群、应用系统、教学资源平台、图书资源站点、微信平台、虚拟仿真平台、共享实验平台等各类应用提供了稳定可靠、资源管理灵活、可扩展可伸缩的资源管理模式 -server//服务器模式 -Xmx2g //JVM最大允许分配的堆内存，按需分配 -Xms2g //JVM初始分配的堆内存，一般和Xmx配置成一样以避免每次gc后JVM重新分配内存 -Xmn256m //年轻代内存大小 -XX：PermSize=128m //持久代内存大小 -Xss256k //设置每个线程的堆栈大小 -XX：+DisableExplicitGC //忽略手动调用GC，System.gc（）的调用就会变成一个空调用，完全不触发GC -XX：+UseConcMarkSweepGC //并发标记清除（CMS）收