基于Hadoop的电商数据分析系统的设计与实现.pdfVIP

计算机与软件科学移动信息

基于Hadoop的电商数据分析系统的设计与实现

李胜华

湖南外贸职业学院，湖南长沙410000

摘要：随着计算机技术的发展，“互联网+”已经被应用于各行业中，带动了行业的创新发展。在此技术环境

下，“互联网+”行业所产生的数据呈现爆炸式增长，这些数据是推动企业发展的重要因素。对于电商行业而

言，数据已经成为电商行业获得市场竞争优势的核心，提高电商数据的信息化水平是电商企业可持续发展的重

中之重。基于Hadoop平台，展开电商数据分析系统设计，旨在为电商行业的发展提供更加精准的数据。

关键词：Hadoop平台；电商数据；系统分析

中图分类号：TP311.13

0引言1.2Hadoop的电商数据系统的设计

在信息技术的支持下，我国电子商务经济发展（1）系统架构设计。本系统主要由数据展示层、

迅猛，电商平台已然成为国民经济的重要支柱。而随数据分析层、数据层以及基础设施层四个部分组成。

着各大电商平台的崛起，其面临着的内部竞争越发激Hadoop平台作为基础设施，需要完成对数据层的各

［3］

烈，所产生的业务数据以及日志文件也越来越多，如项作业。

何存储并利用这些数据成为制约电商平台未来发展的（2）系统功能模块设计。根据上述电商数据分

［1］析系统的功能需求可知，数据收集模块是按照电商平

瓶颈。如何搭建起一个强有力的大数据分析平台

是当务之急。台的营销或是管理目标所提出的收集相关数据标准的

一个过程。随着数据量的增大，数据收集模块所面临

1基于Hadoop的电商数据分析系统设计的数据集增多，在该模块中需要确保海量数据的质量。

因此设计该模块时，需要尽可能地收集更多的数据，

1.1Hadoop的电商数据系统功能

降低数据的丢失率；减少数据收集活动对于电商平台

（1）功能需求。电商数据分析系统的根本作用其他功能的影响。收集的数据要通过PC端、移动端

［2］

就是展开对电商平台数据的分析、管理和应用。口传输到服务器中，对监控日志进行总结归纳，最终

首先，该数据分析系统面向的是各大电商部门，需要完成数据收集任务。

设置系统登录功能，进入主操作页面中。其次是要具（3）数据处理设计。数据处理是对收集到的数

有数据存储的功能，数据存储作为数据分析系统的基据进行加工、整理和归纳，采用的数据处理技术和标

础，面对结构复杂的数据，要具有对这些结构化数据、准直接会影响到数据的质量。在数据处理模块中，需

非结构化数据以及半结构化数据的统一存储和查询的要借助Hadoop平台中的ETL操作技术，将数据结果

功能。存储到Hbase数据库中，然后借助MapReduce以及

（2）非功能需求。非功能需求主要是指对系统Hive技术展开不同标准的数据处理，基于Hadoop平

的功能性的需求。基于Hadoop的电商数据分析系统，台下的数据处理分析，