（毕业论文）基于hadoop的电子商务数据存储架构的研究与设计.docx

目录

摘要 I

Abstract

1绪论 1

1.1研究背景 1

1.2研究意义及研究内容 2

1.3论文结构 2

2分布式系统关键技术 3

2.1分布式系统模型简介 3

2.1.1Google的GFS 3

2.1.2Apache的Hadoop 4

2.1.3淘宝的TFS 4

2.2分布式系统基本算法 5

2.2.1分布式存储算法 5

2.2.2分布式处理算法 8

2.3本章小结 9

3Hadoop开源云计算系统 10

3.1Hadoop介绍 10

3.2Hadoop关键技术 10

3.2.1MapReduce 10

3.2.2下一代MapReduce:YARN 11

3.2.3HDFS 12

3.2.4Hive 13

3.2.5HBase 14

3.3本章小结 15

4非结构化数据存储方案设计 16

4.1云存储数据中心架构模型 16

4.2存储系统读写流程 17

4.2.1存储系统写流程 17

4.2.2存储系统读流程 17

4.3非结构化数据云存储平台设计 18

4.3.1非结构化数据存储应用实例 18

4.4本章小结 23

5Mahout非结构化系统的设计与实现 24

5.1Mahout分布式系统架构图 24

5.2系统总体实现 24

5.2.1硬件准备 24

5.2.2软件准备 25

5.2.3部署Hadoop集群 25

5.3Mahout实现电子商务推荐系统 32

5.3.1系统设计 32

5.3.2结果演示 32

5.4本章小结 39

6总结和展望 40

致谢 41

参考文献 42

基于Hadoop的电子商务数据存储架构的研与设计

I

摘要

随着电子商务行业的高速发展，在现阶段的电子商务网站中出现了以指数级别形式增长的海量数据，而大多数以非结构化数据为主，由此可见，面对电子商务网站的海量信息，如何高效地存储和管理这些非结构化数据已经成为一个迫切需要解决的问题。

面对电子商务网站中巨大的交易量，传统的数据库已经无法满足对海量数据实时统计、查询、分析的要求。为了在电子商务网站海量的商业数据中进行信息挖掘、分析，找到有价值的信息，需要能够处理海量数据的数据库技术。

现今电子商务网站数据的重要发展方向是大数据，而大数据的主要实现方式之一就是通过Hadoop技术来实现。所以电子商务数据的处理和Hadoop技术息息相关。本文侧重于基于Hadoop的电子商务数据存储架构的研究与设计，分析MapReduce流程、分布式文件系统HDFS,利用Mahout聚类分类算法等相关技术，结合非结构化数据存储特点，建立具有高效、安全的系统架构，提出非结构化数据存储模型设计，并利用Mahout设计实现简单的电子商务推荐系统。

关键词：电子商务非结构化数据HadoopMapReduceMahout

基于Hadoop的电子商务数据存储架构的研与设计

I

Abstract

Withtherapiddevelopmentofe-commerceindustry,massiveamountsofdatain

e-commercesitesgrowexponentiallyintheform,andmostareunstructureddata,wecan

seemuchinformatione-commercewebsites,howefficientstoreandmanage

unstructureddatahasbecomeaseriousproblem.

Infaceofahugevolumeoftransactions,thetraditionaldatabasehasbeenunabletomeetthehugeamountsofd