常见的运用文本数据库中元数据关联规则进行知识发现的研究.ppt

生物医学文本挖掘研究的体会 中国医科大学 信息管理与信息系统（医学）系 主要内容 开展的课题 “运用文本数据库中元数据关联规则进行知识发现的研究” 文本挖掘工具 课题申请的体会 运用文本数据库中元数据关联规则进行知识发现的研究 文本数据库：PubMed 元数据：关于数据的数据 ，MeSH主题词 关联规则：association rule，在同一个事件中出现的不同项的相关性，如在一次购物活动中所购商品的相关性（尿布→啤酒：30%～40%） 事件：一篇论文；不同项：MeSH主题词 MeSH主题词在同一篇文章中出现有规律吗？ 可否利用这种关联规律来发现知识？ 背景知识 知识发现（KDD）：从数据中正规提取隐含的、以前未知的并且可能有用的知识。 数据挖掘：在数据中正规地发现有效的、新颖的、潜在有用的、并且最终可以被读懂的模式的过程。 一般可以把数据挖掘当作知识发现的一个具体步骤。 背景知识 文本挖掘 Text Mining：文本挖掘 Literature Based Discovery (LBD)：基于文献的发现 Knowledge Discovery in Biomedical Literature （KDiBL）：生物医学文献知识发现 背景知识 Cimino的研究 哥伦比亚大学。 如果在一篇文献纪录中同时存在“疾病类主题词/化学诱导副主题词”和“药物类主题词/副作用副主题词”这样的组合的话，那么可以建议该疾病由该化学物质（药物）引起。 If Disease/chemically induced AND Chemical/adverse effects Then Diseaseis Caused by Chemical. 形成规则。 将这样的规则运用的具体的其他文献集合中，就会发现文献中报道了大量的具体疾病是由某一种具体药物引起的。形成关系。 背景知识 规则的文字形式： “如果某一文献记录中含有属于1类的主题词A并且和副主题词X在一起，AND 该引文还包括属于2类的主题词B并且和副主题词Y在一起，那么 建议A和B通过关系Z相关（A和B有Z关系）。” 根据Medline主题词和副主题词在同一篇文献中出现的情况，建立起主题词和副主题词之间的关联规则，然后将这些规则返回到具体的文献中形成了具体概念之间的关系。 本课题目标 寻找发现规则的方法。 将获得规则用于某一领域，得到具体的关系。 运用具体的关系开发出专题的知识库。 技术路线 分析样本：下载文献 三个层次 微观层次：各个大类下的10个末级主题词 中观层次：针对每一种副主题词进行检索 宏观层次 ：直接以大类名为检索策略 /dan/medkit/ 关键点 确定高频主题词截取阈值，共词聚类分析最佳分组数目，伪F检验。 候选规则检验。规则是否成立。 规则是否可靠？专家评分，敏感度等。 不成立组合的分析：swanson模式，关系？ 知识库开发。 取得的成果 方法是可行的。得到的规则。 开发出相应的数据挖掘平台。 BICOMS MeSH_Manager 建立各种专题、主题的知识库。 规则样例 今后的方向 应用领域上，向生物信息学靠拢； 实行中，寻求获得经济效益的可能； 学科上，最终目标是知识发现； 方法上，探索本体论在医学领域中的应用。 二、数据挖掘工具 文本挖掘的主要内容 术语识别 信息抽取 发现关系 Semantic Knowledge Representation/语义知识表征项目，SKR http://0-/ 美国国立医学图书馆,1998年启动 文本中所包含知识进行正确表达 利用美国国立医学图书馆现有的资源，尤其是一体化医学语言系统（UMLS）的知识库和SPECIALIST系统所提供的自然语言处理工具，开发出可以表达生物医学文本的实用程序。 MetaMap Indexing，MMI 超级匹配标引,主动标引项目（Indexing Initiative project）的一部分。 MetaMap用于对生物医学文献，尤其是MEDLINE中的记录进行自动标引。 MetaMap在指定的记录中寻找的概念，根据这些概念在文本中出现的位置（如标题）以及该概念的独特性排序，按照一定阈值选取标引词。 目前美国国立医学图书馆的标引人员在MEDLINE标引中使用MMI生成的概念排序作为参考。 MataMap 和SemRep MetaMap最初是为了改善MEDLINE检索而开发出来的，用通过MetaMap发现的超级词表概念来代替文本。 EDGAR和ARBITER EDGAR (Extraction of Drugs, Genes and Relations) 在MEDLINE中确定药物、基因关系的程序。 以前面几项工具为基础，以癌症治疗有关的药物和基因作为