如何使用机器学习解决实际问题一百度关键词有哪些信誉好的足球投注网站相关性模型为例.pdfVIP

如何使用机器学习解决实际问题-以关键词相关性模型为例 weibo: dustinsea 本文以百度关键词有哪些信誉好的足球投注网站推荐工具字面相关性模型为基础，介绍一个机器学习任务的具体设计 实现。包括目标的设定，训练数据准备，特征选择及筛选， 以及模型的训练及优化。该模 型可扩展到语意相关性模型，有哪些信誉好的足球投注网站引擎相关性及LTR 学习任务的设计实现。该模型的设计 调研实现，也可以很容易移植解决其他包括语义相关性的问题 目标设定：提升关键词有哪些信誉好的足球投注网站相关性 作为一个有哪些信誉好的足球投注网站+推荐产品，百度关键词有哪些信誉好的足球投注网站推荐系统的产品形态是向凤巢用户推荐适合他业 务的关键词。例如一个卖鲜花的广告主，他想在百度上做关键词有哪些信誉好的足球投注网站推广时，需要提交和他 业务相关的关键词，而且提交的关键词需要业务相关，例如他需要提交和卖鲜花业务相关的 关键词。例如鲜花快递，鲜花速递等。此时他可以在百度关键词有哪些信誉好的足球投注网站推荐系统中进行有哪些信誉好的足球投注网站查 询，选择适合他的关键词。 百度关键词有哪些信誉好的足球投注网站推荐系统 query 有哪些信誉好的足球投注网站 这是一个典型的有哪些信誉好的足球投注网站问题，具体的从输入query，到触发，到排序等会涉及到很多因素，例 如如何查倒排，如果处理地域因素等；要提升有哪些信誉好的足球投注网站的质量，我们首先需要保证输入的query 和推荐出来的推荐词的相关性，此处我们要解决的主要问题， 就是如何快速，准确地判断 两个关键词（输入query 和推荐词）的相关性，需要特别注明的是，我们主要的目标是让 用户觉得该产品结果很靠谱， 所以该处我们仅考虑字面相关性，更多的语意扩展该 模型并未考虑。 注：该模型的调研实验实现方式，可以很容易平移到语义相关性。例如加入更多语意特征， 例如plsa 的bm25 特征和word2vec 的相似度特征（或者和扩展的相关性校验，例如将待 推荐词扩展为baidu 有哪些信誉好的足球投注网站结果的摘要扩展）提高语义特征的贡献。 相关性也是所有有哪些信誉好的足球投注网站问题的基石，只不过在不同的系统中使用方式不一样， 在一般的有哪些信誉好的足球投注网站 中，相关性占有较大权重，排序基本就以相关性为依据； 在商业系统中，相关性则经常作 为有哪些信誉好的足球投注网站展现的门槛用于控制商业推广结果的质量（如果仅考虑CTR，用户有哪些信誉好的足球投注网站鲜花快递时， 给用户展现艳照门的结果，CTR 会更高，但相关性较差）。 当然，判断相关性我们可以 简单使用某一种方法进行直接判定，例如直接进行两个关键词的TF-IDF 计算，或是进行两 个关键词的BM25。但这样的方式效果都不太理想，想要达到更好的效果，就需要使用更多 特征，而更多特征很自然地，需要使用模型组合这些特征，达到最终的预期效果。 图：相关性在关键词系统中的位置 此处将会使用机器学习的方法解决该问题。本文以下内容会从数据准备， 特征选择， 模型 选择， 模 型调优等步骤介绍百度关键词有哪些信誉好的足球投注网站推荐系统如何解决该问题 数据，特征，模型 说到使用机器学习解决问题，我们经常提到的优化思路就是3 方面的优化： 数据，特征， 模型。首先找到充足的，准确的label 数据（该出仅考虑有监督学习任务，例如相关性，或 是LTR），之后提取贡献较大的特征作为input space，以label 作为output /ground true label， 之后优化模型（Hypothesis) ）。下面会分别从这3 方面对整个优化过程进行阐述 准备训练数据 训练数据的获取一般有几种方式： 1. 人工标注： 优点是质量较高，噪音较少；缺点是标注结果和标注者本身的认识相关，例如在有哪些信誉好的足球投注网站 引擎中，判定苹果和手机的相关性，对于年轻人，一般都认为相关；但对于比较多的 老人，可能认为不相关；另外一个缺点就是人工获取标注的成本较高 2. 从日志中进行挖掘：优点是数据量相对更大，获取成本较低 （编写几个hadoop脚本 对日志进行统计） ；缺点是噪音较多，例如有哪些信誉好的足球投注网站引擎中的恶意抓取访问导致的噪音 数据 在相关性模型中，一开始我们使用百度关键词有哪些信誉好的足球投注网站推荐系统的人工反馈数据作为label 对模 型进行训练，分别提取1.5W query-推荐词pair 作为正负例进行特征提取，模型训练。 如图所示，在交互上，当用户喜欢该关键词时，就会点击‘大拇指’表示该结果符合用户需求 （正反馈，该query-推荐词 pair 可作为正例）；如用户认为该关键词不符合需求，就会点 击‘垃圾桶’，将该关键词扔入回收站（负反馈，该query-推荐词 pair 可作为负例） 在实验中，我们发现正例没有问题， 不过负例中会存在较多这样的情形： query-推荐词是 相关的， 但该用户不做该业务，所以被定义为负例，所以负例个性化较强。所以后来我 们让产品经理同学又对负例子进行筛选