原创力文档- 1、本文档共31页，其中可免费阅读20页，需付费75金币后方可阅读剩余内容。
- 2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
- 3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
- 4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
词法分析及词法分析程序课件
目录
词法分析概述
词法分析的步骤
词法分析的算法
词法分析工具与资源
词法分析程序的设计与实现
词法分析的应用场景与案例
CONTENTS
词法分析概述
词法分析的步骤
1
2
3
将连续的文本切分为单独的词语，是词法分析的第一步。
分词
基于规则的方法、基于统计的方法和混合方法。
分词方法
分词的准确性对后续的句法分析和语义分析影响很大。
分词精度
停用词
在文本中出现频繁但对语义贡献较小的词语。
常见的停用词表
中文常见的停用词表包括哈工大停用词表、北大中文停用词表等。
去除停用词的目的
减少数据稀疏性和提高模型训练效率。
为每个词语赋予其对应的词性标签。
词
文档评论（0）