关于Hessian矩阵

关于Hessian矩阵

Hessian矩阵是和二阶导数相关的东东，经常在Taylor二次展开、Newton法等出没。以前一直以为它就是一个普通的二次求导呗，直到有一天看一篇文献十分费解。现在终于恍然大悟，没有注意到陷阱！

1. 变量是向量x：（注意f（x）是实值函数哦）

一阶导数：

                                   

二阶导数： 也就是Hessian矩阵，实际上是一阶导数再求导，现在是向量求导，而不是实值求导！

          

（注意：一阶导数和二阶导数的维度变化）

2.变量是向量 

一阶导数：

          

二阶导数：（注意此时是矩阵值函数对矩阵求导！）

在这里，我们要先介绍矩阵值函数对矩阵求导的定义形式：

定义1：

是一个矩阵值函数，其中是F（X）的第ij个元素，是一个值函数。现定义F（X）对矩阵变量X的导数为

所以（注意：维度变大了！）。

现在我们回到二阶导数上，定义如下啦：

（二阶导数维度一定变大！所以Newton法里Hessian矩阵的逆一般不好求！）