机器学习-大作业 词嵌入.docx

内蒙古工业大学数据科学与应用学院

机器学习课程实验报告

姓名：张国林

学号：20231100537

班级：23级网安

日期：2024.1.14

一、实验内容

词嵌入。实现word2vec中的Skip-gram模型。

二、实验环境

在实验进行的环境为IntelCorei5-10500×6处理器，12G运行内存，NvidiaRTX2060SUPER显卡。网络基于pytorch1.8.1框架进行搭建，编程环境为Python3.7.16.

三、数据集介绍

原始新闻数据集为news.txt.

以新闻分类为目标，具体内容如下

实验方案

使用的是skip-gram模型来进行词嵌入。

拿到news.txt数据集后处理思路如下：

实现是一种非end-end的算法，每个中间步骤的输出都会对最后的输出有很大影响。word2vec是连接词和embedding的桥梁，决定着最终算法的上下限，这也是非end-end算法的缺点。word2vec的输入是分词后的结果，处理输入数据：

最后计算相似度构建损失函数，每个词语的embedding是由id查表得到的。

Word2vec就是利用最大似然估计来求解某一现象(即用背景词估计中心词)发生概率最大时的参数(wordembedding)问题。在skip-gram模型中对应的正样本是中心词的window_size里的背景词，而负样本又称噪声词，可以是词典中任意词，一般依照词频来选择。通过负样本和正样本分别对输入(即中心词)计算相似度来设计loss，负采样主要解决计算词典中的词与中心词的相似度计算量过大问题。不加入负采样计算相似度时，要遍历整个字典，计算复杂度为n(V)，V为词典大小，通过负采样可以用预先设定的负样本取值neg_count来bound住计算范围。

主要代码

原始新闻数据集为news.txt，先进行数据预处理得到分词后的文件：

importjieba

importpandasaspd

fromsklearnimportpreprocessing

importre

importnumpyasnp

fromcollectionsimportdeque

importoperator

np.random.seed(0)

classDataPreprocess():

def__init__(self,inputdata_path,stopword_path):

self.dataed,self.labeled=self.dataload(inputdata_path,stopword_path)

defdataload(self,inputdata_path,stopword_path):

train_data=pd.read_csv(inputdata_path,delimiter=\t,

lineterminator=\n,encoding=UTF-8,header=None)

rawlabellist=[]

datalist=[[]for_inrange(train_data.shape[0])]

foriinrange(train_data.shape[0]):

rawlabellist.append(train_data.iloc[i,0])

labellist=preprocessing.LabelEncoder().fit_transform(rawlabellist)

foriinrange(train_data.shape[0]):

datalist[i]=train_data.iloc[i,1]

withopen(stopword_path,r,encoding=UTF-8)asf:

self.stopword=[]

forlineinf.readlines():

self.stopword.append(line.strip())

returndatalist,labellist

defstopworddelete(self,sentence):

word_n