基于大数据的信息系统关键技术!.pdfVIP

应用研究 数字技术 与应用 基于大数据的信息系统关键技术 李俊杰 (河南理工大学计算机科学与技术学院,河南焦作 454000) 摘要: 大数据信息技术与我们的生活密切相关,无论是物联物流领域、网络社交领域、电子商务领域、远程医疗领域等都可以看到大 数据信息技术的缩影 。为了满足现阶段互联网企业发展的要求,进行大数据技术方案的更新是必要的,这就需要进行分布式文件管理模 块、数据处理模块 、数据库技术模块等的分析, 实现大数据技术问题的解决, 满足现阶段工作的要求 。 关键词 : 大数据 ；信息系统 ；关键技术 ；数据存储 ；数据处理 中图分类号:TP311 文献标识码:A 文章编号:1007-94 16(20 17)03-0 118-0 1 1 大数据信息技术的应用内容 据信息的有效性预测。通过对数据挖掘模块的应用,可以进行现有 大数据技术是一种先进的数据信息选取技术,大数据信息系统 数据信息的精细性计算,满足数据预测工作的要求,提升数据分析 是一个比较复杂的体系,其内部包括数据采集环节、数据处理环节、 的综合性效益。在大数据分析过程中,数据挖掘算法是其重要的理 基础架构环节等。 论基础,挖掘算法的复杂性、计算过程中的大数据量是其分析过程 1.1 数据采集模块 中的主要问题。 数据采集技术实现了对不同数据库信息的接收,比如产品客户 2 大数据信息系统关键技术方案的优化 端、网络站点、传感器等,在数据的采集过程中,高并发数问题是常 2.1 优化文件管理模块 见的数据收集问题,比如在双11活动中,淘宝网站达到一个巨大的 大数据信息主要包括音频、视频、文本等模式,通过对各种信息 峰值访问量。为了提升大数据的分析效率,需要进行分布式数据库 的利用及处理,可以实现信息处理系统的有效性应用。信息具备各 的导入,在导入模块中,需要实现清洗环节及预处理环节的协调。 种类型的属性特点,为了满足现阶段信息企业的工作要求,进行数 在现代互联网企业的发展过程中,每个企业都有属于自己的数 据信息性质的深入分析是必要的。 据采集工具,这些采集工具实现了分布式架构的应用,能够满足不 大数据的信息系统具备复杂性的特点,其内部功能丰富多变, 同数据模块的采集及传输要求。在网页数据的采集过程中,一般利 其内部结构具备复杂多变性的特点,大数据存储模块、大数据处理 用网站的公开API,进行音频、视频、图片等数据的抽取,这种模式属 模块、大数据运算模块等是其重要的技术应用模块。大数据信息核 于非结构化数据抽取模式,做好这一环节,再进行结构化模式的应 心技术主要分为处理模块及分析模块。大数据信息技术包含了各种 用,进行本地数据文件的存储。 类型的数据技术,比如信息处理技术、数据挖掘技术、云计算技术、 1.2 数据存储模块 数据库技术。