大数据时代重要很重要非常重要.docxVIP

PAGE 1 数学与计算机科学学院 “大数据专业导论”论文 题目 : 大数据时代 年级专业 : 2020级数据科学与大数据技术 姓名 : 张秋颖 学号 : 2020030541047 学期 : 2020-2021-1 授课教师 : 胡朋 完成时间 : 2020年12 月23日 大数据时代 摘要：数据发展到今天，已不再是一个新的概念，基于大数据技术的应用也层出不穷，但作为一项发展前景广阔的技术，其很多作用还有待挖掘，比如为人们的生活带来方便，为企业带来更多利益等。那么如何才能将大量的数据存储起来，并加以分析利用呢，大数据技术应运而生。他无时无刻不在影响着人们的生活，为人民谋求切实可循的利益，当然数据的如此透明化也会产生一定的弊端，对于人们的信息而言也是一种严峻的挑战。 关键字：大数据；技术；利益；弊端 Big?Data?Era Abstract:?Today,?data?is?no?longer?a?new?concept,?and?applications?based?on?big?data?technology?emerge?one?after?another.?However,?as?a?technology?with?broad?development?prospects,?its?many?functions?have?yet?to?be?explored,?such?as?bringing?convenience?to?peoples?lives?and?more?benefits?to?enterprises.?So?how?can?we?store?a?large?amount?of?data,?analyze?and?utilize?it??Big?data?technology?arises?at?the?historic?moment.?It?influences?peoples?life?all?the?time?and?seeks?tangible?benefits?for?people.?Of?course,?such?transparency?of?data?will?also?bring?some?drawbacks,?and?it?is?also?a?severe?challenge?for?peoples?information. Key?words:?big?data;?technology;?interest;?disadvantages 目? 录 1? 引言……………………………….……….……….…….………………….……….………3?????? 2? 大数据概论……………………………….………………..……………………………3　 2.1 大数据的定义和特征…………………………..…………….………3　　 2.2 大数据的特点…………………………..……….……………5?? 2.2.1数据类型繁多(Variety)…………………………..……………………5 2.2.2数据体量巨大(Volume)…………………………..………………5 2.2.3价值密度低(Value)…………………………..……………….…5 2.2.4处理速度快(Velocity)………………………………………6 2.3大数据处理的基本流程 ………………………………………………...…6　　 2.3.1数据收集……………………………….……….………………6 2.3.2数据预处理……………………………..……………………………6 2.3.3数据处理与分析……………………….…….……………………………..7 2.3.4数据可视化与应用环节………………………….……………8 3? 大数据技术…...…...…...…...……...…...…...……..………8 3.1 HDFS…………………………………..…………………………….9　　 3.2 MapReduce …………………………………..…………………………….9　 3.3 YARN ……………………………………………………….9　　 3.4 HBase …………………………………..…………………..…10　　 3.5 Hive………………………………..…………………………...10　　 3.6 Kafka ………………………………….…………………...10