云计算大学计算机基础学习系统的设计.docVIP

云计算大学计算机基础学习系统的设计 　　摘 要：为解决在大学计算机基础课程学习系统中，由于大量数据同时上传到服务器造成负载过重的问题，本文将云计算引入到该系统的设计中。该系统采用Hadoop并行编程模型，搭建了实验性的云计算平台大学计算基础课程学习系统。该系统具有分布式计算，资源共享等特点。实验结果表明，云计算与大学计算机基础课程学习系统建设相结合能有效地解决服务器负载过重问题。 　　关键词：云计算；Hadoop；大学计算机基础；系统设计 　　中图分类号：TP3-05 文献标识码：A DoI: 10.3969/j.issn.1003-6970.2012.06.029 　　Cloud Computing University Computer based Learning System Design 　　oUYaNG Chun-juan, LIU Chang-xin, SUN Ling-yu 　　(Jinggangshan University of electronic information engineering college, Jiangxi Ji’an 343009, China) 　　 0 绪 论 　　随着互联网的飞速发展，基于Internet的多媒体学习资源建设得到了广泛地应用。然而传统以计算机网络为基础各种学习系统的性能一直是阻碍其发展的关键因素。例如，大学计算机基础课程学习系统应用中，当学生向服务器提交作业时，由于所有的学生几乎都在同一时间段提交，大量的数据同时上传到服务器，服务器负载过重导致服务器瘫痪。按传统的方法，解决该问题需对计算机硬件及网络带宽提出更高的要求，这在实际操作中不易达到。而云计算时代的到来，为解决以上问题提供了理想的技术支持。目前，云计算已在各类学习系统中得到应用[1-3]。本文采用Hadoop并行编程模型，搭建了实验性的云计算平台大学计算基础课程学习系统，解决了大量数据的传输问题。该系统具有分布式计算，管理不同系统资源及存储大量数据等特点，为实现一个同时满足学生和教师的学习系统提供了新的设计思路。 　　 1 云计算的基本原理 　　云计算（Cloud Computing）[4]是一种新型的基于互联网的计算模式。其核心思想是通过计算机网络将庞大的存储和计算处理程序分布到大量非本地或远程服务器的分布式计算机中，并为用户提供服务。按最通俗地理解云计算就是把计算资源都放到互联网上，然后通过网络以按需，易扩展的方式获得资源。提供资源的网络被称为“云”，其可以无限扩展，随时获取，按需使用，按使用付费。 　　Hadoop[5]为分布式系统基础架构，是一个更容易开发和运行处理大规模数据的软件平台，具有扩容（Scalable）、成本低（Economical）、高效率（Efficient）和可靠性（Reliable）等特点。 Hadoop实现了一个分布式文件系统HDFS（Hadoop Distributed File System）。HDFS提供了分布式存储底层支持，具有高容错性特点。Hadoop还实现了MapReduce分布式计算模型。MapReduce将应用程序的工作分解成很多工作小块，将它们放置在服务器群的计算节点中，在节点上直接处理数据。本文利用Hadoop开发实验性的云计算平台大学计算基础课程学习系统。 　　 2 搭建云计算平台的大学计算机基础课程学习系统 　　本系统根据本校大学计算基础课程的实际教学情况，采用6台计算机来搭建大学计算机基础课程系统的云计算平台。在Hadoop系统中，需要1台机为Master，其余5台机器作为Slave。Master用来配置NameNode并负责JobTracker工作。该工作主要负责整个分布式数据的管理和分解任务，并调度和跟踪各个任务的执行。Slave配置DataNode并负责完成TaskTracker工作。该工作主要根据本地数据，存储分布式数据，具体完成Map任务和Reduce任务。Hadoop集群的构建具体实现步骤描述如下： 　　（1）由于Hadoop要求所有机器上hadoop安装目录结构要相同，并且具有一个相同的用户名的帐户。本系统的帐户设置为dxjsj，主目录是/home/dxjsj。 　　（2）将hadoop0.12.0压缩包解压至HadoopInstall文件夹中。所有的配置文件都在/hadoop/conf/目录中，所有执行程序都在/hadoop/bin目录中。将 /hadoop/conf/目录中的hadoop_site.xml，slaves，hadoop_env.sh三个文件拷贝到hadoop-config/目录中。 　　（3）配置6台机器的IP。 　　对于Master机器，其机器名和IP分别dxjsj-1：1。其余