向量矩阵偏导数(机器学习深度学习基础).doc

矩阵的导数运算 1. 矩阵Y对标量x求导 相当于每个元素求导数 2. 标量y对列向量x求导 注意与上面不同，这次括号内是求偏导，对×1向量求导后还是×1向量 3. 行向量对列向量求导 注意1×向量对×1向量求导后是×n矩阵。 将的每一列对求偏导，将各列构成一个矩阵。 重要结论： 4. 列向量y对行向量求导 转化为行向量对列向量的导数，然后转置。 注意×1向量对1×向量求导结果为×n矩阵。 ?重要结论： 5. 向量积对列向量x求导运算法则 注意与标量求导有点不同。 重要结论： ? 6. 矩阵Y对列向量求导 将Y对的每一个分量求偏导，构成一个超向量。 注意该向量的每一个元素都是一个矩阵。 ?7. 标量y对矩阵X的导数 类似标量y对列向量x的导数，把y对每个X的元素求偏导，不用转置。 重要结论： ? 8. 矩阵Y对矩阵X的导数 ?? 将Y的每个元素对X求导，然后排在一起形成超级矩阵。