- 1、本文档共52页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
文本挖掘(TextMining)技术基础概要
向量相似度算法 余弦相似性(cosine-based similarity) 相关相似性(Pearson相关系数 ) 修正的余弦相似性(adjusted-cosine similarity) * 文档相似性 其中: Di为文档i Wij是第i个特征项在第j个文档向量中的权值 * Vector Space Model * 向量空间模型例子 * 摘自:http://bit.ly/cbDyIK Inverted Files Inverted Files Word-Level Inverted File In Lucene, a TermFreqVector is a representation of all of the terms and term counts in a specific Field of a Document instance As a tuple: termFreq = term, term countD fieldName, …,termFreqi, termFreqi+1,… As Java: public String getField(); public String[] getTerms(); public int[] getTermFrequencies(); Lucene Term Vectors (TV) Parallel Arrays Lucene Term Vectors (TV) Field.TermVector.NO:不保存term vectors Field.TermVector.YES:保存term vectors Field.TermVector.WITH_POSITIONS:保存term vectors.(保存值和token位置信息) Field.TermVector.WITH_OFFSETS:保存term vectors.(保存值和Token的offset) Field.TermVector.WITH_POSITIONS_OFFSETS:保存term vectors.(保存值和token位置信息和Token的offset) * Lucene Scoring 评分机制 * Lucene Scoring 评分机制 参考org.apache.lucene.search.Similarity /java/3_0_2/scoring.html http://bit.ly/bq7xNh * Lucene Scoring核心类图 * Lucene MoreLikeThis Lucene 的contrib包中提供了MoreLikeThis 、 MoreLikeThisQuery包,很容易实现“您可能也喜欢”的功能 org.apache.lucene.search.similar.MoreLikeThis org.apache.lucene.search.similar.MoreLikeThisQuery 参考:http://bit.ly/dpUQAP String indexDir = d:/index; FSDirectory directory = FSDirectory.open(new File(indexDir)); IndexReader reader = IndexReader.open(directory); IndexSearcher searcher = new IndexSearcher(reader); int numDocs = reader.maxDoc(); MoreLikeThis mlt = new MoreLikeThis(reader); // #A mlt.setFieldNames(new String[] {title, author}); mlt.setMinTermFreq(1); // #B mlt.setMinDocFreq(1) .. * Lucene 作为Linkedin 的推荐引擎 参考:LinkedIn Signal - a look under the hood * * * 分词:中文特征词(Term)的粒度 Character,字:中 Word,词:中国 Phrase,短语:中国人民银行 Concept,概念 同义词:开心 高兴 兴奋 相关词cluster,word cluster:葛非/顾俊 N-gram,N元组:中国 国人 人民 民银 银行 某种规律性模式:比如某个window中出现的固定模式 分词:主要的分词方法
您可能关注的文档
- 文化随笔写作辅导概要.ppt
- 文字版校长任职资格班:学校发展规划与校长专业成长2013概要.ppt
- 文天祥正气歌并序-详细解说概要.ppt
- 文学作品整体讲解概要.ppt
- 文学与心理学概要.ppt
- 文学作品阅读1概要.ppt
- 文化生活第二课概要.ppt
- 文学常识100(学生用)概要.doc
- 文学常识99题概要.doc
- 文学常识题及答案概要.docx
- 2020版 沪科技版 高中生物学 必修2 遗传与进化《第4章 生物的进化》大单元整体教学设计[2020课标].docx
- 情绪价值系列报告:春节消费抢先看-国证国际证券.docx
- 精品解析:北京市东直门中学2023-2024学年高二下学期3月阶段性考试(选考)物理试题(解析版).docx
- 2020版 沪科技版 高中生物学 必修2 遗传与进化《第4章 生物的进化》大单元整体教学设计[2020课标].pdf
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第1章 人体的内环境和稳态》大单元整体教学设计[2020课标].pdf
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第1章 人体的内环境和稳态》大单元整体教学设计[2020课标].docx
- 液冷盲插快接头发展研究报告-全球计算联盟.docx
- 精品解析:北京市东直门中学2023-2024学年高二下学期3月阶段性考试(选考)物理试题(原卷版).docx
- 精品解析:北京市东直门中学2024届高三考前练习数学试卷(解析版).docx
- 2020版 沪科技版 高中生物学 选择性必修1 稳态与调节《第2章 人体的神经调节》大单元整体教学设计[2020课标].docx
文档评论(0)