《特征表示与描述》课件.pptVIP

********************哈希编码11.压缩映射将高维特征映射到低维空间，压缩特征空间。22.碰撞处理多个特征可能映射到同一个哈希值，需要解决冲突。33.效率提升降低内存占用和计算复杂度，提高模型效率。44.特征稀疏适用于高维稀疏特征，如文本或图像数据。词嵌入将单词映射到向量空间将词汇表中的每个单词表示为一个向量，向量中的每个维度代表单词的语义信息。捕捉单词间的语义关系通过向量之间的距离或相似度来衡量单词之间的语义相似性，例如“国王”和“女王”的向量距离会比“国王”和“桌子”更近。图嵌入图数据表示将图数据映射到低维向量空间，保留图结构和节点属性信息。机器学习模型图嵌入用于机器学习任务，如节点分类、链接预测和社区检测。深度学习深度学习模型可以学习复杂图结构，并生成更准确的图嵌入。特征选择的目的和方法目的：提高模型性能特征选择可以提高模型的泛化能力，减少过拟合，降低模型训练时间。特征选择可以降低模型复杂度，提高模型的解释性和可维护性。方法：过滤法、包裹法、嵌入法过滤法根据特征本身的属性进行选择，不需要训练模型。包裹法使用模型的性能作为评价指标，通过不断有哪些信誉好的足球投注网站特征子集来选择最佳特征。嵌入法将特征选择融入模型训练过程，通过模型学习到的参数来选择特征。特征选择的目的11.降低模型复杂度减少不相关或冗余特征，简化模型训练过程。22.提升模型泛化能力避免过拟合，提高模型在未知数据上的预测精度。33.提高模型可解释性通过识别重要特征，更好地理解模型的预测依据。44.降低计算成本减少特征数量，降低模型训练和预测的计算量。特征选择的方法过滤法根据特征本身的属性进行选择，不需要训练模型。包裹法利用模型训练后的性能指标进行选择，需要多次训练模型。嵌入法在模型训练过程中，通过特征权重或正则化进行选择，不需要单独的特征选择步骤。特征选择算法概述过滤法根据特征本身的性质进行选择。包裹法使用机器学习模型来评估特征子集的性能，并选择最佳子集。嵌入法在模型训练过程中，将特征选择集成到模型的训练过程中。卡方检验基本原理卡方检验是一种常用的统计检验方法，用于检验两个分类变量之间是否存在关联关系。它通过比较观测频数与期望频数之间的差异来判断这种关联关系是否显著。应用场景卡方检验在特征选择中常用于评估特征与目标变量之间的相关性。例如，可以用来检验性别特征是否与购买商品的倾向性存在关联。互信息信息增益衡量特征和目标变量之间相互依赖程度，互信息越大，特征越重要。公式互信息是两个变量联合概率与它们各自概率乘积的比值的期望值。应用用于特征选择，筛选出与目标变量相关性较高的特征。递归特征消除11.逐步消除从所有特征开始，逐次迭代删除最不重要的特征。22.模型训练每次删除特征后，重新训练模型，评估模型性能。33.特征排序根据模型性能的变化，对特征重要性进行排序，并选择性能最好的特征子集。44.迭代过程重复步骤1-3，直到达到预期的特征数量或模型性能不再改善。L1正则化L1正则化公式L1正则化通过添加所有权重绝对值的总和来惩罚模型的复杂性。稀疏特征向量L1正则化倾向于产生稀疏的特征向量，其中许多特征的权重为零。特征选择通过将不重要的特征的权重设置为零，L1正则化有效地执行了特征选择。特征表示在实际应用中的挑战1高维稀疏特征现实世界中的数据常常具有高维稀疏性，这会给模型训练带来困难。2异构和结构化特征许多应用场景中的数据包含多种类型和结构的特征，需要进行特殊处理。3特征偏移和噪声训练数据和测试数据之间的分布差异，以及数据中的噪声，都会影响模型性能。高维稀疏特征数据稀疏性高维稀疏特征会导致大多数特征值为零，导致数据稀疏，给模型训练带来挑战。维数灾难高维特征空间会导致维数灾难，模型难以学习有效的关系，降低模型性能。维度不平衡某些特征可能具有更高维度，导致数据分布不平衡，对模型学习造成偏差。异构和结构化特征结构化特征结构化特征，例如时间序列数据、图数据等，它们具有明确的结构和关系。异构特征现实世界中，数据往往是异构的，包含不同类型和结构的特征。组合特征异构和结构化特征的组合，例如文本和图像的融合，为模型提供了更全面的信息。特征偏移和噪声特征偏移特征偏移是指训练数据和测试数据之间分布不一致的情况。例如，在训练数据中，用户行为可能偏向于某些特定人群，而在测试数据中，用户的行为可能发生变化。噪声噪声是指数据中的错误或不准确信息。例如，数据采集过程中的错误、人为误差以及数据传输过程中的