课件参考scoring with the jaccard coefficient 5简介到.pdfVIP

Take 1: Jaccard coefficient • A commonly used measure of overlap of two sets A and B is the Jaccard coefficient • jaccard (A,B) = |A ∩ B |/ |A ∪B | • jaccard (A,A) = 1 • jaccard (A,B) = 0 if A ∩B = 0 • A and B don’t have to be the same size. • Always assigns a number between 0 and 1. Jaccard coefficient: Scoring example • What is the query-­­ match score that the Jaccard coefficient computes for each of the two s below? • Query: ides of march • 1: caesar died in march • 2: the long march Issues with Jaccard for scoring • It doesn’t consider termfrequency (how many )mes a term occurs in a ) – Rare terms in a collec)on are more informa)ve than frequent terms – Jaccard doesn’t consider this informa)on • We need a more sophis)cated way of normalizing for length – Later in this lecture, we’ll use | A  B | / . . . instead of |A ∩ B|/|A ∪B| (Jaccard) for length normaliza)on. Introduc)on to Informa(on Retrieval Scoring with the Jaccard coefficient 简介到 信息恢复评分和 这 德系数第 6 章拿 1： 德系数 A 通常用过的措施的 的 二套 一个和乙 是这 德系数 A,B) A 乙| A 乙| A,A) 1 A,B) 0 如果 A 乙 0 一个和乙 不有 到是 这相同的尺寸。 总是分配 A 数字之间 0 和 1. 第6 系数： 评分例子什么是 这查询-文档匹配分数那 这 德系数计算为了每个的 这二 文件以下？ 询问： 伊德斯的 行进文件一： 死了在 行进文件 2： 长的行进第 6 章问题和 德为了得分它 不考虑学期频率如何许多 A 学期发生在 A 文档） 稀有的条款在 A 收集是 的信息比 经常条款 德不 考虑这 信息 需要 A 的复杂的方式的 正常化为了长度 在 这 ， 出色地使用|A.B|/|A.B| 反而的 A B|/|A 乙| 德） 为了长度正常化。 简介到 信息恢复评分和 这 德系数 信息恢复评分和 这 德系数