基于R语言的大数据处理平台的设计与实现.docVIP

基于R语言的大数据处理平台的设计与实现 　　摘 要： R语言是一种基于统计、运算和绘图的数据处理方式，其能够较为理想地进行大数据处理工作。因此，设计基于R语言的大数据处理平台。当平台的用户请求层向技术层发送大数据处理指令，技术层随即开始工作，其处理结果也将反馈至用户请求层。技术层由大数据管理模块、大数据处理模块和R语言控制模块组成，大数据处理模块的EP1C6Q240C8芯片通过借鉴大型数据库内容，进行大数据的挖掘工作，并将其挖掘结果提供给大数据处理模块进行大数据的筛选、汇总、转换和标准控制。经大数据处理模块处理后的大数据，将通过串口通信电路回传给用户请求层。R语言控制模块为整个平台制订处理标准。软件方面利用R语言的类聚性能设计技术层挖掘功能图和大数据向量化处理代码。实验结果表明，所设计的平台能够对大数据进行高性能的处理。 　　关键词： R语言； 大数据处理平台； EP1C6Q240C8； 数据挖掘 　　中图分类号： TN911?34； TP914.2 文献标识码： A 文章编号： 1004?373X（2017）02?0053?04 　　Abstract： The R language is a data processing way based on statistics， computation and graphics. It can process the big data ideally. Therefore， the big data processing platform based on the R language was designed. When the platform′s user request layer sends big data processing instructions to its technology layer， the technology layer gets to work immediately， and feeds the processing result back to the user request layer. The technology layer is composed of big data management module， data data processing module and R language control module. EP1C6Q240C8 chip of the big data processing module is adopted to execute big data mining by means of content in a large?scale database， and provide the big data processing module with the mining results for big data screening， summary， conversion and standard control. The big data processed by the big data processing module is sent back to the user request layer through a serial port communication circuit. The R language control module works out the processing standards for the whole platform. The type clustering performance of R language is utilized to design technology layer′s mining functional diagram and big data vectorization processing code. The experimental result shows that the platform designed in this paper can carry out the high?performance big data processing. 　　Keywords： R language； big data processing platform； EP1C6Q240C8； data mining 　　0 引 言 　　网络时代的来临，使大数据不可避免地吸引到了各界的关注。大数据处理平台要求其处理方式应具有超强的决策能力，以应对大数据海量、多样性的特点[1?3]。R语言是一种基于统计、运算和绘图的数据处