分布式教学资源平台设计与实现.pdf

分布式教学资源平台设计与实现实验研究

侯慧玲

（长治学院，山西长治，046011）

基金项目：长治学院“1331”工程以创新实践能力提升为目标的网络工程实验教学示范中心。

摘要：本文主要对分布式教学资源平台进行了研究和设计，在遵循“松散耦合”思想的基础上完成了资源管理平台整体架构的设计，系统

平台主要由基础设施、用户层、支撑平台、软件功能四部分构成，通过充分发挥HDFS技术的优势使软件开发的关键技术问题得以有效解

决，在降低存储成本的同时提升访问速度及资源管理质量，从而提高了对数量庞大的教学资源的管理效率，为教学资源管理平台功能的完

善提供参考。

关键词：HDFS；分布式存储；教学资源平台；实现路径

0引言能，对象为平台内部和客户端，能够快速处理侦听结果；对

包括资源数据块及Datanode的映射信息等在内的元数据

教学资源在学校教育中发挥着重要的作用，优质教学资进行处理；服务器负载均衡，对资源文件存储负载器以各个

源的提供是提升教学质量的有效途径，同时实现教育资源均DataNode为依据完成分配过程。

衡也离不开对教学资源的科学管理，教学资源通过提供各种(2)DataNode，接收包括数据块ID、内容在内的资

可被利用的条件（包括课程素材等）以实现教学活动有效开源数据块信息，识别ID同内容间的映射关系；对教学资

展的目的。源数据块进行读写，具体采用流式的方式对定位到的相应

1HDFS体系在教学资源管理中的应用DataNode完成数据读写操作；执行复制操作，传输资源数

据块，各数据块间科相互通信；向NameNode汇报状态，

本文基于HDFS的分布式教学资源平台的优势主要表每隔一段时间向NameNode发送映射信息，周期性的报告

现在：能够对超大文件进行处理并对PB级数据进行管理，资源块映射信息。

可对多种数据分析任务请求快速响应，具备访问流式数据的

能力，对硬件要求较低，配置具有较高的灵活性。平台主要

由础设施、用户层、支撑平台、软件功能四部分构成，各部

分间相互独立，上层设计的改变不会影响底层模块的功能，

对部署的伸缩性能够轻松应对。解决了软件开发关键技术问

题，以HDFS读取文及写入资源文件流程为例阐述了平台功

能的实现步骤，以此为基础构建平台可有效提高平台的可靠图1 HDFS体系结构

性和安全性，从而使平台的开发质量和效率得以提高。2资源管理平台整体架构

HDFS基于流式数据访问，其文件系统管理方式采用了

主从(Master/Slaver)结构，HDFS体系结构如图1所示，平台功能分布于软件的总体架构中，软件架构能够对软

一个HDFS集群通常由名称节点（NameNode）及数据节件系统的抽象组件构成进行可视化的描述，本文所设计的分

点（DataNode）构成，作为主节点的名称节点负责对客户布式教学资源管理平台构架遵循“松散耦合”的思想，主要

端读写请求进行处理并对数据块映射过程进行管理等，此外由四部分构成具体如图2所示，配置具有较高的灵活性，各

副本策略的配置及名称空间的管理也由名称节点完成；作为部分之间属于向下依赖的关系，上层设计的改变不会影响底

从节点的数据节点功能包括对接收到客户端数据块进行存层模块的功能，对部署的伸缩性能够轻松应对，从而使资源

储并据此执行相关读写操作，此外能够完成对数据块的相关管理平台的稳定性、安全性、可扩展性及容错性得以显著提高。

操作（包括创建、删除和复制等，需在名称节点的控制下）。