基于大数据技术的高职招生平台建设研究.docx

??

?

??

基于大数据技术的高职招生平台建设研究

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

谢梅源

摘??要：针对高职院校招生信息化面临的诸多问题，本文借助大数据技术，提出了基于大数据技术的高职招生平台建设研究，并对平台的整体架构和主要功能设计进行了探讨。本研究整合学校招生、培养、就业数据并抓取网络上的相关信息，为高职院校辅助制定招生政策提供指导服务。

关键词：大数据技术;招生平台研究;辅助招生决策

中图分类号：TP393文献标志码：A文章编号：1673-8454（2019）07-0062-04

随着现代科技的发展，信息技术的应用越来越广泛，高校招生已经有了非常丰富的报考和招生信息。随着新高考改革的推进，高职院校的招生模式不断创新和多样化，优质生源竞争也越来越激烈，各高校在制定招生专业计划时，需对历年本校及竞争学校招生录取过程中收集到的各种招生数据信息进行研究分析，同时也需对市场上的就业招聘信息与招生工作进行相关分析，从而更科学地制定招生政策、招生计划，提高生源质量，促进学校发展。

一、问题及现状

1.招生各数据源信息不一致

大多数高校是面向全国招生的，各省份招生政策存在差异，下载数据在结构上有较大差异，考生信息数据列、数据含义也有较大差别。甚至同一个省份的多元化招生模式，如提前招生、五年制合作、普高高考、单独考试等，不同招生类型考生数据信息也不统一。生源数据结构和标准不统一，给数据共享和统计分析造成了很大工作量。

2.各系统各自独立形成信息孤岛

大多数高校各部门为了工作方便都会有信息化系统，但缺乏统一规划，系统间彼此独立，互不兼容，造成存在不同的数据格式标准和数据库;甚至同一部分在不同时期建立的系统之间也未能形成信息共享体系，如招生宣传网、招生数据管理、提前招生，就业管理等多个系统，这些数据孤立地存放在本地数据库里，对这些系统数据隐含的价值以及数据之间的关联没有深入挖掘和利用，无法提供更深层次的决策服务。

3.“招生-培养-就业”未形成联动

高校的人才培养由招生、培养和就业构成，三个环节紧密相连，共同构成高校人才培养的系统过程。通过多年的招生、培养、就业数据积累，数据体现出数据量巨大、数据价值增加、数据种类多样、数据处理复杂等重要特点，当前就业招聘市场的信息变化常常预示后继几年社会对人才需求的变化，高校当前招生专业及人数的精准管理需要同时研究就业市场的数据来进行优化，如果没有应用大数据平台来进行分析和挖掘，就不能充分利用招生、就业数据的价值，就无法形成三个环节数据的联动。

二、招生平台整体架构设计思路

建立一个基于大数据的招生平台必须要有一个技术层次合理的系统架构（如图1所示）。平台从下往上可以分为四层：一是数据治理层，负责招生数据及相关就业数据的导入、抓取、清洗、规范化等数据治理工作;二是大数据平台层，运用以Hadoop为代表的大数据技术，对归集的招生、就业、招聘数据进行处理;三是数据应用层，对大数据处理层处理的结果基于招生业务需要进行功能设计、统计分析、数据相关性计算等，并进行大数据展示，以及历年招生大数据的展现，用于招生政策决策分析;四是应用门户，将数据应用层产生的业务结果数据以网站、手机APP、手机微信应用等多种形式提供给用户端使用。

1.數据治理层

招生平台数据来源：一方面有学校历年的招生数据，数据源格式有Excel、各类文件、关系数据库数据，这些数据的格式差别很大，需要进行数据规范化、标准化后导入招生平台数据仓库;另一方面，为了开展招生、培养、就业全过程数据的分析研究，我们还要导入学校学生培养期间成绩数据、企业招聘数据、学生就业数据等，这些数据来源有Excel、各类文件、关系数据库数据，以及通过Python爬虫爬取的互联网各类网站上的数据。简单来说，数据治理就是处理数据的策略——收集、验证、存储、访问、保护和使用数据。数据治理层就是针对这些不同的数据源、不同的数据格式，通过数据治理工具开展数据格式规整、数据值域规范化、元数据标准化相关工作，同时通过ETL工具去除一部分脏数据，将元数据、主数据、招生就业数据、企业招聘参考数据生成标准、规范、有价值的数据集并导入招生平台数据仓库。

2.大数据平台层

大数据平台层对数据治理后导入的招生、就业、学业、招聘相关信息进行数据处理。基于数据类型多样及数据量庞大，采用关系数据库、NoSql和Hbase数据库相结合的模式。Hadoop主要由两部分组成：一是HDFS，即HadoopDistributedfileSystem，是属于Hadoop的分布式文件系统;二是HadoopMapReduce，它是一种分布式计算引擎，包括大规模的文字处理、数据挖掘等，它分两个阶段，一个是Map阶段，一个是Reduce阶段，Map阶段就是把输入来的