隐马尔科夫模型.ppt

隐马尔科夫模型（HMM）1精选2021版课件

TableofContents马尔科夫模型隐马尔科夫模型HMM基本问题3.1HMM评估问题3.2HMM解码问题3.3HMM学习问题HMM应用背景4.1自动文本分类4.2汉语词性标注4.3汉语自动分词4.4文本信息抽取4.5其他应用领域2精选2021版课件

1.马尔科夫模型马尔科夫(Markov)模型是由俄罗斯数学家AndreiA．Markov于20世纪初提出的一个统计模型。有限状态的离散时间Markov链是一个长度为T的随机变量序列，的取值范围是有限状态集。假定它满足以下两个条件：（1）任一时刻的随机变量只依赖于前一时刻的随机变量：（2）时间无关性（马尔科夫性）：则显然有：3精选2021版课件

以上随机过程可以称为可观测Markov模型，因为此过程的输出在每一个时间点是一个状态，并且每一个状态对应一个可观测事件。上述模型称为一阶Markov模型。如把条件（1）适当放松，任一时刻的随机变量只依赖于前两（三，…，k）个时刻的随机变量，则此模型为两（三，…，k）阶Markov模型。Markov模型4精选2021版课件

2.隐马尔科夫模型一个HMM是不确定的、随机的有限状态自动机，由不可观测的状态转移过程(一个Markov链)和可观测的观察生成过程组成。按观测值是离散还是连续的，HMM可分为离散型和连续型。我们这里主要介绍离散HMM。一阶离散HMM是一个五元组：，可以简写为，其中N是Markov链状态数;M是状态可能生成的观察值数;表示初始状态概率向量，其中A为状态转换概率分布矩阵，表示i状态向j状态转换的概率：，其中:B为观察值概率分布矩阵，表示在j状态输出观察值k的概率：，其中:隐马尔可夫模型（HMM）是一种在Markov链的基础上发展起来的统计信号模型，能够利用收集的训练样本进行自适应学习。5精选2021版课件

隐马尔科夫模型6精选2021版课件

HMM拓扑结构左右型的HMM全连通的HMM含并行结构的HMM含间隔跳转的HMM7精选2021版课件

3.HHM基本问题

HMM理论有3个基本问题：（2）解码问题给定一个HHM的模型和观测序列，如何选择对应最佳的状态序列，使它在某种状态下最优（出现的概率最大），以较好地解释观测值（1）评估问题给定一个HHM的模型和观测序列，如何高效的计算此模型产生的观测序列的概率（3）学习问题（训练问题）给定观测序列，如何调整模型参数，以使得观察序列出现的概率最大化8精选2021版课件

3.1评估问题解决HHM评估问题的典型算法有穷举搜索直接计算法、前向算法和后向算法：一、穷举搜索直接计算1、算法思想列举长度为T的所有可能的状态序列，分别求解各个状态序列与观测序列的联合概率，最后求和得到2、算法过程（1）状态序列出现的概率为：（2）对于其中一种状态序列，观测序列的概率为：依据贝叶斯公式：9精选2021版课件

（3）求和：3、算法评价由于每一时刻点所到达的状态有N种可能，所以总的不同的状态序列有种。其中每一个状态序列需要2T-1次乘法运算。所以总的运算量为次乘法运算（此外还需要次加法运算）。穷举算法的时间复杂度为，在求解的过程中存在大量的重复计算，不适用于大的模型和较长的序列。10精选2021版课件

二、前向算法1、算法思想到达某网格节点的概率可以用前一时刻N个节点的概率表示出来。前向算法通过已经保存了的子路径来计算新路径的概率。HHM网状结构11精选2021版课件

(3)终止，在时刻T所有隐状态（对应观测值）的概率求和:(2)递归，计算t+1时刻处于各隐状态（对应观测值为）的概率:2、算法过程定义到时刻t，部分观测序列为，状态的前向概率为：(1)初始化,