文本挖掘（TextMining)技术基础.ppt

向量相似度算法 余弦相似性（cosine-based similarity） 相关相似性（Pearson相关系数 ） 修正的余弦相似性（adjusted-cosine similarity） * 文档相似性 其中： Di为文档i Wij是第i个特征项在第j个文档向量中的权值 * Vector Space Model * 向量空间模型例子 * 摘自：http://bit.ly/cbDyIK Inverted Files Inverted Files Word-Level Inverted File In Lucene, a TermFreqVector is a representation of all of the terms and term counts in a specific Field of a Document instance As a tuple: termFreq = term, term countD fieldName, …,termFreqi, termFreqi+1,… As Java: public String getField(); public String[] getTerms(); public int[] getTermFrequencies(); Lucene Term Vectors (TV) Parallel Arrays Lucene Term Vectors (TV) Field.TermVector.NO:不保存term vectors Field.TermVector.YES:保存term vectors Field.TermVector.WITH_POSITIONS:保存term vectors.(保存值和token位置信息) Field.TermVector.WITH_OFFSETS:保存term vectors.(保存值和Token的offset) Field.TermVector.WITH_POSITIONS_OFFSETS:保存term vectors.(保存值和token位置信息和Token的offset) * Lucene Scoring 评分机制 * Lucene Scoring 评分机制 参考org.apache.lucene.search.Similarity /java/3_0_2/scoring.html http://bit.ly/bq7xNh * Lucene Scoring核心类图 * Lucene MoreLikeThis Lucene 的contrib包中提供了MoreLikeThis 、 MoreLikeThisQuery包，很容易实现“您可能也喜欢”的功能 org.apache.lucene.search.similar.MoreLikeThis org.apache.lucene.search.similar.MoreLikeThisQuery 参考：http://bit.ly/dpUQAP String indexDir = d:/index; FSDirectory directory = FSDirectory.open(new File(indexDir)); IndexReader reader = IndexReader.open(directory); IndexSearcher searcher = new IndexSearcher(reader); int numDocs = reader.maxDoc(); MoreLikeThis mlt = new MoreLikeThis(reader); // #A mlt.setFieldNames(new String[] {title, author}); mlt.setMinTermFreq(1); // #B mlt.setMinDocFreq(1) .. * Lucene 作为Linkedin 的推荐引擎 参考：LinkedIn Signal - a look under the hood * * * 分词：中文特征词(Term)的粒度 Character，字：中 Word，词：中国 Phrase，短语：中国人民银行 Concept，概念 同义词：开心 高兴 兴奋 相关词cluster，word cluster：葛非/顾俊 N-gram，N元组：中国 国人 人民 民银 银行 某种规律性模式：比如某个window中出现的固定模式 分词：主要的分词方法