人民大2024《人工智能与Python程序设计》课件(教材配套版)第14章-自然语言处理实践-1概述-文本表示.pdf

人民大2024《人工智能与Python程序设计》课件(教材配套版)第14章-自然语言处理实践-1概述-文本表示.pdf

  1. 1、本文档共27页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

《人工智能与Python》—自然语言处理和语言模型

人工智能与Python程序设计教研组

什么是自然语言?

•语言是思维的载体,是人类交流思想、表达感情最自然、最直接、最

方便的工具

•自然语言(Naturallanguage)是人类社会发展过程中“自然”产生

的语言

–与“人工语言”相区别

自然语言处理

•自然语言处理(NaturalLanguageProcessing,NLP):

–使用计算方法进行语言数据的分析、理解、表示等自动化处理

自然语言处理是人工智能的比尔盖茨:“语言理解是人工

重要分支智能皇冠上的明珠。

常见自然语言处理任务与应用

•中文分词:

–输入:一段文本;输出:切词后的序列

常见自然语言处理任务与应用

•词性标注:

–输入:一段文本;输出:对文本中每个词的标注

部分标签含义

t时间

d副词

v普通动词

p介词

n普通名词

常见自然语言处理任务与应用

•机器翻译

–输入:源语言文本;输出:含义相同的目标语言文本

常见自然语言处理任务与应用

•文本分类

–输入:源语言文本;输出:对应的类别标签

常见自然语言处理任务与应用

•文本生成:

–输入:当前上下文;输出:一段适合于当前上下文的文本

RNN自动创作GPT-3自动创作

语言模型

•语言模型:通过计算方法刻画、建模语言规律

•我们主要关心语言模型的两个功能

–语言概率计算

–语言语义表示

语言模型

•我们主要关心语言模型的两个功能

–语言概率计算

•对于一个词序列,语言模型研究如何进行概率赋值

P(thestudentsopentheirbooks)=3e-4

P(thestudentsopentheirlaptops)=1e-4

P(thestudentsopentheirexams)=1e-7

P(thestudentsopentheirminds)=1e-6

•一个重要应用:文本生成(预测下一个词汇)

语言模型

•我们主要关心语言模型的两个功能

–语言语义表示

•对于一个词序列,语言模型研究如何进行语义

您可能关注的文档

文档评论(0)

allen734901 + 关注
实名认证
内容提供者

知识共享

1亿VIP精品文档

相关文档