大数据的环境下文本信息挖掘系统的设计.doc

大数据的环境下文本信息挖掘系统的设计 　　摘 要： 传统文本信息挖掘技术系统能够对文本信息进行系统的信息挖掘，但是在大数据环境下容易产生系统的数据识别乱码以及数据干扰。针对上述问题，提出一种大数据环境下文本信息挖掘系统设计方案，在系统的硬件设备上增加数据简化器，通过数据简化器能够对数据进行一定的过滤筛选，保证数据进入识别阶段的准确率，同时促进了数据挖掘过程的效率，对文本信息挖掘的过程使用质数矩阵模型，通过建立的质数矩阵模型能够有效地对文本信息进行深层次的挖掘。同时优化了Aprioirt计算方法，保证了对文本信息的优先识别度，避免了传统方法中出现的数据混乱以及数据干扰问题。为了验证设计的大数据环境下文本信息挖掘系统的有效性，设计了对比仿真实验，通过实验数据的分析，有效地证明了设计的大数据环境下文本信息挖掘系统的有效性，避免了传统方法中出现的数据混乱以及数据干扰问题。 　　关键词： 大数据环境； 文本信息； 关联密度； Aprioirt?算方法； 挖掘系统 　　中图分类号： TN911.1?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）01?0125?04 　　Abstract： The traditional text information mining technology system can carry out the systematic information mining for text information， but is easy to generate the data identification messy code of the system and data interference in the big data environment. Aiming at these problems， a design scheme of text information mining system in big data environment is put forward. The data reducer is added on the hardware device of the system， which can filter the data， ensure the accuracy of data entered into the recognition stage， and improve the efficiency of data mining. The prime number matrix model is used in the process of information mining to mine the text information deeply. The Aprioirt computing method is optimized to ensure the priority recognition of text information， avoid the data chaos and data interference of the traditional method. In order to verify the effectiveness of text information mining system in large data environment， the contrast simulation experiment was designed. The experimental data verifies that the text information mining system in large data environment is effective， and can avoid the data chaos and data interference of the traditional methods. 　　Keywords： big data environment； text information； correlation density； Aprioirt computing method； mining system 　　0 引 言 　　伴随互联网时代的快速崛起，互联网的数据信息已经用海量来比拟[1?2]。随着信息储量的不断增加，对信息进行系统挖掘能够发现数据信息中的隐藏数据和潜在有价值的数据[3?4]。这样可以最大程度上的使用数据信息[5?6]。互联网环境下的数据传输方式都是以压缩的形式进行传递，在大数据的环境下，文本信息是传输的主体，能够占据大数据信息的[13]以上[7