机器学习-实验报告12-4.docx

机器学习

实验报告

姓名：张国林

学号：20231100537

班级：网络空间安全

日期：2023.12.4

实验内容

使用随机森林算法和支持向量机（SVM）算法建立分类模型，并通过实验选择最有超参数组合。

实验数据集可以自行选择，也可以选中sklearn自带数据集。

mnitst数据集，获取代码如下：

fromsklearn.datasetsimportfetch_openml

mnist=fetch_openml(mnist_784,version=1,cache=True)

#通过mnist.data获取特征数据，通过mnist.target获取数据标签

新闻数据集，获取代码如下：

fromsklearn.datasetsimportfetch_20newsgroups_vectorized

data=fetch_20newsgroups_vectorized()

二、实验目的

1.使用随机森林算法建立分类模型，并通过实验选择最有超参数组合（超参至少包括：n_estimators和max_depth）；

2.使用支持向量机（SVM）算法建立分类模型，并通过实验选择最有超参数组合（使用网格有哪些信誉好的足球投注网站方法进行，超参至少包括：C和kernel）；

3.在测试集上对比随机森林和支持向量机两种算法；

三、实验方案

对于随机森林使用决策树的数量和深度的超参数设置不同，其中决策树的数量为50,100,200；而随机森林最大深度的超参数为None,10,20,30；循环对比不同大小的超参数，观察哪种效果最好。

对于支持向量机SVM而言，把有关软间隔问题的超参数C和核函数的超参数kernel设置成不同，并采用网格有哪些信誉好的足球投注网站的方法进行判断最优参数；其中把C的参数设置为0.1,1,10；而kernel的参数设置为linear,rbf；从原理上讲当C趋近于很大时，意味着分类严格不能有错，当C趋近于很小时，意味着可以有更大的错误容忍。核函数的选择有线性核函数和径向基核函数。

最后选择两者最好的情况下的超参数，在测试集上的准确度进行对比。

主要代码

随机森林：

importnumpyasnp

importpandasaspd

fromsklearn.model_selectionimporttrain_test_split,GridSearchCV

fromsklearn.ensembleimportRandomForestClassifier

fromsklearn.metricsimportaccuracy_score,classification_report

fromsklearn.datasetsimportfetch_openml

#加载MNIST数据集

mnist=fetch_openml(mnist_784,version=1)

X,y=mnist[data],mnist[target]

#将标签转换为整数

y=y.astype(np.uint8)

#拆分数据集20%当测试集，使用相同的random_state确保每次划分的结果相同

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#定义随机森林模型

#设置超参数范围

param_grid={

n_estimators:[50,100,200],

max_depth:[None,10,20,30],

}

forninparam_grid[n_estimators]:

forminparam_grid[max_depth]:

rf_model=RandomForestClassifier(n_estimators=n,max_depth=m)

rf_model.fit(X_train,y_train)

y_pred=rf_model.predict(X_test)

print(n_estimators=,n,,max_depth=,m,,accuracy=,accuracy_score(y_test,y_pred))

#导入所需的库

fromsklearnimportdatasets

fromsklearn.model_selectionimporttrain_t