{管理信息化大数据分析}大数据技术综述.pdf

赵勇 等:大数据技术综述 1 {管理信息化大数据 分析}大数据技术综 述 赵勇 等:大数据技术综述 2 大数据技术综述 Abstract :Weareenteringintoa“bigdata”era.Duetothebottlenecks,suchaspoorsc alability,installationandmaintenancedifficulties,faulttoleranceandlowperfo rmance,intraditionalinformationtechniqueframework,weneedtoleveragethecloud putingtechniquesandsolutionstodealwithbigdataproblems.Cloudputingandbigdat aareplementarytoeachotherandhaveinherentconnectionofdialecticalunity.Thebr eakthroughofbigdatatechniqueswillnotonlyresolvethecurrentsituation,butalso promotethewideapplicationofcloudputingandtheinternetofthingstechniques.Wef ocusondiscussingthedevelopmentandthepivotaltechniquesofbigdata.Andprovidea prehensivedescriptionofbigdatafromseveralperspectives,includingthedevelopm entofbigdata,thecurrentdata-burstsituation,therelationshipbetweenbigdataan dcloudputingandthebigdatatechniques.Finally,weintroducetherelatedtechnique researchesandourcurrentwork. Keywords :bigdatatechnique;cloudputing;dataacquisition;datastorage;dataputati on;presentationandinteraction 摘要:我们正在进入一个 “大数据”时代,传统的信息技术架构,存在着扩展性差、容错性 差、性能低、安装部署及维护困难等诸多瓶颈,需要以现代云计算手段和技术来解决大数 据问题.云计算与大数据是相辅相成、辨证统一的关系,大数据技术的突破不仅能解决现 实困难,同时也会促使云计算、物联网技术真正落地并深入推广和应用.针对大数据的发 展历程以及关键性的大数据技术进行探讨,从大数据的发展历程、当前面临的大数据问题、 大数据与云计算的关系以及大数据技术等方面进行综合描述.归纳总结相关的技术研究 和我们的研究成果. 关键词:大数据技术;云计算;数据采集;数据存储;数据计算;展现与交互 中图法分类号:TP301 文献标识码:A 1 大数据的发展背景及定义 当今,信息技术为人类步入智能社会开启了大门,带动了互联网、物联网、电子商 务、现代物流、网络金融等现代服务业发展,催生了车联网、智能电网、新能源、智能 交通、智能城市、高端装备制造等新兴产业发展.现代信息技术正成为各行各业运营和 发展的引擎.但这个引擎正面临着大数据这个巨大的考验[57].各种业务数据正以几何 赵勇 等:大数据技术综述 3 级数的形式爆发[1],其格式、收集、储存、检索、分析、应用等诸多问题,不再能以传 统的信息处理技术加以解决,对人类实现数字社会、网络社会和智能社会带来了极大的 障碍.纽约证券交易所每天产生 1TB 的交易数据;Twitter 每天就会生成超过 7TB 的数 据;Facebook 每天会产生超过 10TB 的数据;位于欧洲粒子物理实验室的大型强子对撞 机每年产生约 15PB 的数据.根据著名咨询公司 ID