新一代校园数据平台探索与应用.pdf

新一代校园数据平台探索与应用 ——以上海交通大学为例 金耀辉 上海交通大学 网络信息中心 2015.12.18 第二届高校智慧校园研讨会 2015 重庆 提纲  数据仓库与数据统计分析  传统数据仓库的挑战与数据挖掘  以数据为核心的开放智慧校园  总结 2 数据仓库 “越来越多的高校意识到数据仓 库技术对管理和决策的重要性” “未来人们会像评价一家上市公 司的投资回报一样衡量各院校的 运营效率、教学以及研究成果” 数据源 —— IBM，”2012年的高等教育”(2005) 3 我校建立数据仓库的动机  学校目前的5大信息系统能满足特定的需求，但 由于“信息孤岛”的存在，使得全校范围的统计 分析有很多困难  有些统计，比如高基表，部分子表绕开了数据库， 向各个部处或院系发送调查问卷的形成来完成  费时费力，主数据(master data)的历史状态无法 取得  数据整合/集成的重要性  始于2010年前后 4 数据仓库  数据库vs 数据仓库  数据库是面向事务设计，存储在线交易数据  数据仓库是面向主题的，存储的是历史数据  数据仓库的特点(Bill Inmon)  面向主题  集成  相对稳定  反映历史变化 5 架构选型的考虑因素  业务系统历史悠久，数据质量不佳  程序复杂性，中间成果的积累，项目管理的考虑  统计标签的映射或推导，统计口径的变化  不同的设计模式，星型模式倾向于在一个表中尽 可能塞入所需的属性，3NF则是分摊到多个表中  统计分析往往是跨主题的，需要一个全局的视图 6 数据仓库的架构实现 统计和报表 共享库ODS 元数据 映射和 。 业务库 变换 数据集市 控制 规则 注册表 数据 业务库 抽取 Staging