Forum：关于中文Web信息检索评测.docVIP

Forum：关于中文Web信息检索评测 2004.11.18，闫宏飞 记录 参加人员：8人，来自2个单位 北京大学计算语言学研究所：孙斌，吕学强，苏祺，赖志国关方兴/~webg/cwt/2004WebTrack/SEWM2004.ppt，此外增加了现场照片。 讲35分钟，然后开始讨论。 讨论纪录（2小时）： 孙斌：建设一个Base line平台，公开源码或者API。 闫宏飞、彭波：这个想法与我们一致，现在我们有TSE，准备加强索引部分工作，能够教学，能够至少索引CWT100g的5.7M网页。 吕学强：建议评测中增加分词、实体识别。增加现场测试的评测 孙斌：我们应该注重学术研究，可信性放在其次，重在强调大家的参与性。 吕学强：增加任务，如新词发现，排序结果列表 孙斌：吸引NLP方面的人，在检索中体现NLP，比如：新词发现，消歧，名字实体识别。定好我们推动中文Web信息检索评测的风格（即哪些该作，哪些不作）。例如找索引单元，吸引IBM，Microsoft等公司提供测试集。现在北大、清华和微软正在联合申请2008年的SIGIR，届时中文评测工作可以一同进行。 吕学强：评测要公正和可信，有权威性。 孙斌：不能陷入权威之争，强调加入的好处，强调学术性，公正性。第3年的时候，考虑项目，公司的支持，钱的投入，社会参与。 闫宏飞：评测的时间安排需要商讨，是否错开TREC的评测时间。是否需要与SEWM会议一同进行。 孙斌：可以考虑在7，8月份进行，不一定同SEWM会议一起开始，可以单独出版论文集。 孙斌：我们提供原型系统，不称作竞赛队，叫参评单位或者参与者。鼓励公司贡献。参照LDC（Linguistic Data Consortium）的做法。增加一个新的Mining任务-Query Mining （把Query 中的命名实体/新词挖掘出来并加上类别标记—10M个queries，参与者可以到别的网站去找支持的文档，但是要在CWT100g中找出至少一篇支持该查询的文档。 闫宏飞：预计增加网页分类评测，在2003年我们进行过一次，并且有2万个网页训练集，可以将这项工作继续开展。 孙斌：分类标准问题，即是否提供的分类是标准的。在2003年的分类评测中，这个问题是参与者有质疑的。评测中设立的每一个任务，要事先与同行权威协商好，避免事后质疑。 孙斌：CTREC不好做。语言所可以提供基本词表（6千汉字，词，词性标注），词的分类标准；基本切分标注系统，以库函数形势提供；词频信息，术语规范。 总结： 1) 明年设立3项任务，Web Track（TD, HP/NP）, Query Mining，分类. 2) 完善网站，申请单独域名，/ （Chinese Web Information Retrieval Forum，中文Web信息检索论坛）. 3) 发展Committee member和member，规模达到50个，包括科研机构，公司，香港，新加坡等地区的。 2