人工智能基础 课件 6.1~6.10 自然语言处理.pptx

自然语言处理;;;;;;;;;;;在计算机中，为了使用方便，会将这些数字以另外一种形式存储。例如，在上面的英文数字化例子中，设计一个长度为100的由0或者1组成的数字串（向量），此数字串（向量）只有一个位置为1，其他99个位置全是0。若将1看作“热”，0看作“冷”，则这个向量只有一个位置“热”，所以叫作独热编码。;“a”用1表示，独热编码后就是只有第一个位置为1；“abbreviation”用2表示，独热编码后就是第2个位置为1；“zoom”用100表示，独热编码后就是第100个位置为1。;;设想有一个小动物园，有三种动物：狮子、老虎、斑马，如果采用独热编码，这三种动物就可以分别编码为（0,0,1），（0,1,0）和（1,0,0）这样的向量。这三个向量如果放在一个三维空间中，就是如图所示的样子。;;;;;虽然Word2Vec等方法看起来十分优秀，但是在实际工作中并没有表现得十分出色。这是为什么呢？主要就是一词多义的问题。;;;;;;;;本章介绍了不使用神经网络的传统的方法进行自然语言处理。重点是理解自然语言处理的数字化方法，了解神经网络语言模型的意义。通过使用“橙现智能”软件，读者可以完成语句的分词等基本任务，并理解在分词基础上可以进行更深入的分析。;;