Python爬虫大数据采集与挖掘-微课视频版-课件 第二版-11-2 文本主题、社交网络与时间序列.ppt

**Python爬虫大数据采集与挖掘(11-2)

--文本主题、社交网络与时间序列《Python爬虫大数据采集与挖掘》第二版.微课视频版（清华大学出版社，2025）教材《Python爬虫大数据采集与挖掘》及配套公众号

（当当、京东可购书）提纲聚类算法主题及其实现技术社交网络分析时间序列挖掘大数据可视化技术聚类方法目的在于对数据集寻找一种合适的划分，将数据点划分成为若干个簇，但这些簇的具体含义并非事先预设的。通过聚类可以发现大数据中的蕴含模式，例如，聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体。K-Means是一种基于划分的聚类方法，该算法由于简单、高效、易实施等优点，在很多领域被广泛应用。#生成数据点集X,y=make_blobs(n_samples=30,n_features=2,centers=3,cluster_std=0.6,random_state=0)#Kmeans聚类，并获得每个数据点的簇号cluster=KMeans(n_clusters=3,random_state=1).fit(X)y_pred=cluster.labels_#查看每个簇的中心centroid=cluster.cluster_centers_三簇DBScan发现2个无法成簇的点提纲聚类算法主题及其实现技术社交网络分析时间序列挖掘大数据可视化技术主题定义主题代表着某种叙事范围，广泛应用于主题爬虫、新闻热点挖掘等中。而首要问题是如何定义主题，如何描述一个主题。从目前所使用的方法看，主要有以下几种方法。采用关键词集来描述主题关键词及权重集来描述主题。对关键词集进行某种划分，通过对子主题的描述来实现对整个主题的定义。主题关键词集大数据大数据数据挖掘特征选择数据SparkHadoop世界杯足球赛世界杯足球赛俄罗斯法国队大力神FIFA股票市场股票市场看涨看跌股市行情发行券商主题关键词集大数据大数据/0.4数据挖掘/0.2特征选择/0.1数据/0.1Spark/0.1Hadoop/0.1世界杯足球赛世界杯/0.4足球赛/0.3俄罗斯/0.1法国队/0.1大力神/0.05FIFA/0.05股票市场股票/0.2市场/0.2看涨/0.1看跌/0.1股市/0.2行情/0.1发行/0.05券商/0.05基于向量空间的主题构建中心向量法将每个文本按照分词、提取特征词、计算权重等步骤后，表示为向量，对这些向量计算其几何中心。中心向量法将整个主题用一个向量表示聚类法当主题中包含多个不同的子主题，而且这些子主题之间的凝聚性不好的时候，就不是太合适只用一个向量来表示了。因此，聚类法就是为了将整个文档向量按照合适的方法进行分割，将这些向量分割成为若干个密集区域，而每个区域用一个中心向量来表示。LDA主题模型不管是用一个向量还是用多个向量来表示主题，都是一种几何的表示方法，在主题边界的刻画方面尚存在很大不足。将主题看作是一种词汇空间上的概率分布则可以解决这个问题，因此，另外一大类用来表达主题的方式就是概率主题模型。LDA的图模型在LDA模型中，话题和词项的分布都是隐变量，从外部可见的隐变量即为这两个先验分布的变量，从而可以通过调整先验分布变量来调整话题和词项的分布情况。LDA模型的Python实现几个主题？一是，通过人工指定的方式。对于人工选择的语料，如果自己比较熟悉，人工指定K还是可行的。二是，通过利用验证集在不断调整K的情况下，计算模型的困惑度，最终在一定范围内有哪些信誉好的足球投注网站时困惑度最小的K。这种方式需要进行多次的模型训练，因此要花费大量的计算时间。在Python开发环境中，有若干个比较流行的机器学习开发包，里面提供了对LDA模型的支持。常见开发包scikit-learn、gensim和sparkMLlib，都提供了LDA的相关函数，但是API不太一样，支持的开发方法也有所不同。1.基于scikit-learn开发包的实现方法（1）sklearn.decomposition.LatentDirichletAllocation，是对LDA主题模型封装。（2）scikit-learn也提供了sklearn.feature_extraction可以用于进行词频矩阵的生成。在使用scikit-learn进行LDA建模，最主要的API是sklearn.decomposition.LatentDirichletAllocation类的调用，其中涉及到需要提供的参数，需要明白其含义。2.基于gensim开发包的实现方法代码及说明见教材