高校科研大数据平台解决方案.docx

教学科研大数据平台

解决方案

目录

1. 概述 3.

背景 3

建设目标 3

建设的步骤和方法 3

教学科研大数据平台概要 4

架构设计 4

教学科研大数据平台优势 6

应用优势 6

未来发展优势 8

教学科研大数据平台设计 8

大数据资源池 9

cProc云计算 9

cProc云计算概述 9

数据立方 10

混合存储策略 15

云计算核心技术 15

数据处理集群的可靠性与负载均衡技术 15

计算与存储集群的可靠性与负载均衡 19

计算与存储集群的负载均衡处理 21

分布式文件系统的可靠性设计 23

分布式数据立方可靠性设计 23

分布式并行计算可靠性设计 25

查询统计计算可靠性鱼负载均衡设计 25

数据分析与数据挖掘 27

cProc云计算优势 35

cStor云存储 36

cStor云存储介绍 36

cStor云存储架构 38

Stor云存储关键技术 43

数据安全诊断技术 44

cStor云存储优势 45

大数据教学基础平台 46

Hadoop架构 46

Hadoop关键技术 47

Hadoop优势 51

Hadoop教学 51

教学科研私有云 53

Minicloud迷你云 53

Minicloud迷你云介绍 53

Minicloud迷你云特点 54

Minicloud迷你云优势 54

云创网盘 57

网盘系统设计 57

文件同步管理系统 59

文件分析系统 64

云创网盘优势 65

概述

背景

随着教学资源的飞速增长，海量数据的存储已经成为高校研究的一个新难题。针对传统存储架构已突显管理数据资源效率不高和存储能力不足等问题，利用大数据处理平台已成当务之急。大数据处理平台是建立在云数据库基础上针对海量的数据的集中计算。建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的数据计算平台。

在高校开发云计算科研平台、建立云计算科研实验室、创设云计算教学培训等，实现高校教学科研一体化流程。海量教学资源存储平台的实现使高校中海量教学资源数据能够有效存储和共享，对今后数字化校园的建设有了更加深渊的意义。为高校实现信息化教学和科研管理奠定良性基础，增加高校学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才。

建设目标

建设一个大数据教学科研实验室，做成大数据平台。即可以为高校科学研究提供技术支持，也可以满足高校的教学内容，做成高校大数据的标杆。

建设的步骤和方法

大数据平台建设以硬件平台搭配软件为基础，支撑实验室电子数据信息的存储和处理。

首先需要建立初步的大数据存储资源池和计算资源池，通过cStor、cProc、Minicloud来实现存储资源池和计算资源池，搭配Hadoop和云创网盘达到教学任务和科研任务，可以提供初步的大数据平台教学科研效果，实现高校教学科研一体化。

对初步大数据存储资源池和计算资源池进行扩容，建立虚拟化平台，深层次进

行高端教学和高精尖科研的大数据平台。

对大数据存储资源池和计算资源进一步挖掘，实现基于云存储、云计算、虚拟化等技术的进一步科研。

教学科研大数据平台概要

架构设计

建立初步的大数据存储资源池和计算资源池,通过大数据教学基础平台、初步的大数据资源池(包括计算资源池和存储资源池)以及科研私有云建设来实现。

教学科研大数据资源池主要是计算资源池和存储资源池的设计和建设：

cProc云处理平台建立计算资源池；

cStor云存储系统建立存储资源池；组合成大数据资源池。

大数据教学基础平台通过Hadoop大数据平台建设来达到使用Hadoop一揽子解决方案建设。

教学科研私有云建设：使用Minicloud搭配云盘设计学院私有云，辅助教学科研，丰富教学科研多样化。

教学科研大数据平台架构图

高校中汇聚着大量的信息，从学生角度来看，包括联系方式等基本信息，食堂消费、住宿晚归等生活信息，选课、课后作业、借阅图书、成绩等学习信息，参与的社团、竞赛、讲座等第二课堂信息；从教师角度来看，包含教学任务、课件等教学信息，论文著作、科学研究数据等科研信息；从管理者的角度来看，包含学校的资产信息、师资信息、招生就业信息等。同时随着移动互联网以及物联网等新技术的兴起，学校师生主动产生和由设备自动收集的信息越来越多，如微博、微信等社交信息，各类有哪些信誉好的足球投注网站点击记录信息等。上述信息存在着数据量大、结构复杂、产生频率快的特点。这导致利用常用软件工具捕获、管理和处理此类数据所耗费时间超过了可容忍的时间。

通过实际需求的判断，将科研教学大数据平台设计分为3个层次IaaS、PaaS、SaaS。IaaS层：利用云存储技术和云计算技术，将计算机存储和网络等硬件资源以