Python数据分析与数据挖掘 第10章 数据挖掘.ppt

随机森林 sklearn.ensemble.RandomForestClassifier(n_estimators=warn, criterion=gini, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=auto, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None) 参数 说明 n_estimators 森林中决策树的数目 bootstrap 建立随机森林中的各决策树时，是否采用有放回的抽样方法选取训练数据样本，如果设为False，则使用整个数据集建立决策树 oob_score 是否使用袋外（out-of-bag）样本（即数据集中训练数据集以外的样本）来估计泛化精度 n_jobs 为并行完成训练和预测的任务数量（默认值为None表示任务数为1；-1则为等于处理器的数量） warm_start 是否重新生成随机森林，为True时，在上一次调用的结果上，添加更多的决策树，否则则重新生成随机森林 随机森林 sklearn.ensemble.RandomForestClassifier(n_estimators=warn, criterion=gini, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=auto, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None) 属性 说明 estimators_ 决策树分类器DecisionTreeClassifier的集合 classes_ 分类标签（单输出）数组，或者分类标签的数组列表（多输出问题）。 n_classes_ 分类类别数量（单输出问题），或各输出的分类类别数量列表（多输出问题）。 n_features_ 执行拟合时的特征数量。 n_outputs_ 执行拟合时的输出数量。 feature_importances_ 特征的重要性（值越高，特征越重要），为一个(n_features,)数组。 随机森林-示例 from sklearn.ensemble import RandomForestClassifier from mlxtend.plotting import plot_decision_regions # 产生数据 X, y = …（略） # 创建各种分类器初始模型 clf = RandomForestClassifier(n_estimators=100, max_depth=5) r = clf.fit(X, y) #训练分类器模型 # 根据模型绘制数据散点图，及分类区域图形 fig = plt.figure(figsize=(5, 4)) fig.gca().set_title(Random Forest) fig = plot_decision_regions(X=X, y=y, clf=clf, legend=2) 随机森林-示例 对于多维数据，可以引入非线性核函数，使分割超平面更好地符合数据的模式，例如可以为SVC()设置参数kernel=rbf，使用高斯核函数对数据进行转换处理。 随机森林-示例 采用一对多的决策函数输出方式 模型融合 mlxtend.classifier.EnsembleVoteClassifier( clfs, voting=hard, weights=None, verbose=0, use_clones=True, fit_base_estimators=True) 属性 说明 clfs 分类器实例列表 voting 投票方式，可以是hard（按分类预测的结果进行投票），或soft（按预测概率和的最大值来进行投票） weights 为（hard时）对分类预测结果或（soft时）分类预测概率