基于大数据技术精细化社会治理系统研究.docxVIP

?

?

基于大数据技术精细化社会治理系统研究

?

?

赵志海

摘要：为解决常用系统管理大数据时存储器容量较小，不能满足大数据存储需求，导致系统运行的并发性和可扩展性较差的问题，设计了基于大数据技术的精细化社会治理系统。硬件设计方面，采取分块模式设计系统总体结构，通过接口板和存储板组成大数据存储器，选取Virtex-4FPGA芯片作为存储板内部芯片，优化存储板PCB布局，扩增存储器容量，满足大数据大容量存储需求;软件设计方面，通过网络爬虫采集社会治理相关大数据，预处理大数据并对其进行分类，得到精细化数据项，为社会治理工作提供数据支持。设置对比实验，结果表明，设计系统执行大数据写入/读取操作时，提高了并行加速度，扩展比更接近1，并发性和可扩展性优于常用系统。

关键词：社会治理;模块结构;存储板;大数据预处理;精细化数据项

：TP311.13???????：A???????????：1001-5922（2021）06-0072-05

Abstract：Inordertosolvetheproblemthatthememorycapacityofcommonsystemsmanagingbigdataissmallandcannotmeetthestoragerequirementsofbigdata，resultinginpoorconcurrencyandscalabilityofsystemoperation，arefinedsocialgovernancesystembasedonbigdatatechnologyisdesigned.Intermsofhardwaredesign，theoverallstructureofthesystemisdesignedinblockmode.Thebigdatamemoryiscomposedofinterfaceboardandmemoryboard.Virtex-4FPGAchipisselectedastheinternalchipofthememoryboardtooptimizethePCBlayoutofthememoryboardandexpandthememorycapacitytomeetthedemandofbigdatastorage;intermsofsoftwaredesign，throughthewebcrawlertocollectsocialgovernancerelatedbigdata，preprocessbigdataandclassifyit，getfinedataitems，providedatasupportforsocialgovernancework.Acomparativeexperimentwassetup，andtheresultsshowedthatwhenthedesignsystemperformsbigdatawrite/readoperations，theparallelaccelerationisimproved，theexpansionratioiscloserto1，andtheconcurrencyandscalabilityarebetterthancommonsystems.

Keywords：systemdesign;Modulestructure;memoryboard;Bigdatapreprocessing;refineddataitems

0引言

社會治理是国家体系的组成部分，完善社会治理体系，必须推进社会治理体系信息化。因此，研究基于大数据技术精细化社会治理系统，将大数据资源运用到生活各个领域，参与到社会治理模式中，使参与社会治理的主体，在工作中做到细致精确，为民众提供优化服务，具有重要意义。

文献[1]采用物联网和云计算等技术，构建城市发展框架，从空间分布角度出发，将城市划分为政府、人群、产业、社区4个子系统，推动城市治理，但该方法构建的系统框架元器件集中，导致系统运行时间较长，并发性较差。文献[2]以信息过滤为起点，融合相关大数据的辅助数据，利用标签数据和反馈信息，为管理对象提供数据支持，但该方法预处理后的异构数据，仍具有不同结构，导致系统可扩展性较差。针对