WDCG打分标准.doc

WDCG打分标准 标注结果种类： 智能结果：常见的如图片有哪些信誉好的足球投注网站结果，热闻有哪些信誉好的足球投注网站结果，天气，股票，计算器等 有结构化摘要的自然结果 例如下图中红框所示就是结构化摘要： 打分原则： 根据query理解用户查询意图。即便是同一个结果，查询意图不同，分数也不同。比如都是图片智能结果，query是刘德华，那最高是4分，如果query是刘德华图片，那最高可以给5分。 原自然结果的打分标准不变，将智能结果融合进去，保持自然结果和智能结果打分统一，打分与相关度用户满意度正相关。 分数分为5级(1-5分)。对于自然结果，5分只能是导航类查询。而对于智能结果，能完全满足用户需求且展示效果很好，会比4分的自然结果更吸引用户，应该给5分，即便不是导航型查询。 除了5档分数，还需要标注高度(1-3)，即该智能结果占用了几条自然结果的位置。高度是该结果权重的一个因素。 高度如何判断：以行数来判断，遵循5舍6入原则(个别类型的智能结果没有明确的行数，例如视频、图片、百度应用等，估算即可) 平均行数：即其他自然结果的平均行数。这个数字是不确定的，因为每条结果的摘要行数不一样(1-3行)。假设平均行数是4，则： ≤1.5倍平均行数，高度1.??? 即：6行或6行以下都是1 ＞1.5倍平均行数，≤2.5倍，高度2.??? 即：7至10行都是2 ＞2.5倍，高度3.?? 即：11行及以上，都是3. 注意，要根据默认展示的情况估算行高。有些结果有“展开查看更多”选项，点击后展示的内容增多，这部分不在考虑范畴内。如下图，高度应该是2。 与自然结果不同的是，智能结果有多个链接展示给用户。如下图。而吸引用户的往往是附加展示的链接和缩略图，因此给分时应该更关注展示的内容，需要验证这些内容的有效性相关性。如果展示的4条结果中有3条都是无效的，即便链接①中有满足需求的内容，该智能结果的得分只能是2分；如果4条结果都无效，应该给1分死链。(如果展示的结果条目只有一条，那用户点击链接①的概率还是很大的，不应该给死链) 7. 历史有哪些信誉好的足球投注网站结果的用处： 抓取下来的智能结果和结构化摘要结果的排版可能会有些错乱，会对“高度”这一项的判断造成困扰，或者是不能很好的反映出这条结果的展示效果如何，用户体验如何等等。而线上结果又随时都在发生变化，也许大家在打分时线上已经没有这条了，因此这时候大家应该看“历史有哪些信誉好的足球投注网站结果”。即，在做这个测试集时线上的情况。这样问题就解决了。 结构化摘要展示的结果的标注标准同上。 注：通常情况下，只有当触发结构化摘要的结果是导航结果时才能给5分，其余结果很难达到5，因为展示效果一般。 具体例子 一、影视类、视频类查询 如果用户的主要查询意图是观看，且展示效果好，有缩略图，展示的剧集有序，点开后可直接观看，5分。 例如： Query：风声传奇，土豆网的视频智能结果，5分。 注意：经常存在视频是死链的情况，因此务必要先点开验证。 Query：仙剑奇侠传3，soso视频有哪些信誉好的足球投注网站结果，稍差的5分。 Query：男保姆韩剧 既有在线观看的资源，又有剧情介绍等信息，完全满足需求，5分。 (如果只有介绍没有观看资源，最高4分) 展示效果不佳(例如无缩略图，只有文字链接)，但可以满足用户需求，4分； 点击链接后不是直接观看，而是到有哪些信誉好的足球投注网站结果页上再次有哪些信誉好的足球投注网站，4分； 对于没有观看资源，只有剧情介绍的结果(如部分mtime结果)，最高4分(若查询词中明确了要观看，则应该给2分)； 电影类查询，给出的展示结果虽然杂乱，但有可以完全满足需求的资源，4分。 例如： Query：宠物小精灵 百度视频有哪些信誉好的足球投注网站结果，无图片展示，只有文字链接。且点击每集的链接后进入百度视频有哪些信誉好的足球投注网站页面，而不是直接观看。4分。 Query：老婆大人 点击每集的链接后进入搜狗视频有哪些信誉好的足球投注网站页面，而不是直接观看，4分。 Query：非诚勿扰2 无观看资源，4分。(若查询词为：非诚勿扰2观看，则为2分) Query：非诚勿扰2 直接展示出了满足的结果且可看，虽然资源杂乱，但还是给4分。(注意，如果查电视剧，类似结果只能给3，详情见下面的3分部分) 特例： Query：安在旭国语电视剧 尽管点开链接后不是直接观看而是到有哪些信誉好的足球投注网站结果页上再次有哪些信誉好的足球投注网站，但是非常全面的给出了14部电视剧，算是很难得的非常全面的结果，应该提分，5分。 展示的结果无序，杂乱，3分。 例如草根王这个例子，就相当于是“相关视频”列表： 对于视频有哪些信誉好的足球投注网站类结果(仅限查询电视剧)，如果展示的结果中超过一半是死链，只有很少部分正常可看，2分；(注意，若能完全满足需求的资源非死链，可给3分) 如果全都是死链，1分死链。 展示结果为4，4个死链，1分死链；3个死链，2分；2个死链，3分；1个，正常给分 为3，