最优化方法在图像处理中的应用【4】
今天我想理解下正定矩阵!
因为这个矩阵在convex optimization 老是出现~
我们只考虑正定矩阵的原始定义,不考虑某些人对他的扩展。
In linear algebra, a symmetric n × n real matrix M is said to bepositive definite if z^TMz is positive for any non-zero column vector z of n real numbers. Here z^T denotes the transpose of z.
因此,正定矩阵是 对称的、方阵,这里说的是实矩阵,可以扩展到复数矩阵,只是把转置换成共轭转置,并且要求那个二次型结果是实数就可以了。
首先这个矩阵是对称矩阵,不管A是什么矩阵,甚至退化成向量,这个矩阵都是对称矩阵,不存在任何例外。
他一定是半正定矩阵:
任意给定一个非零向量z,那么z^TA^TAz = (Az)^T(Az),显然这个结果是非负的!
那什么情况下这种矩阵是正定矩阵呢?什么情况下他是半正定矩阵,并且不是正定矩阵呢?
我们讨论下什么情况下这个二次型等于零。我们从A本身讨论,
如果(Az)^T(Az)=0 <=> Az是零向量
Az = z1A1 + z2A2 + ... + znAn. 这里假设A有n列,n可以取任何正整数,Ai表示矩阵A的第i列,zi表示z的第i个分量。我们可以把这个式子看成是A的列向量的线性组合,因为z非零,所以,当且仅当A的列向量线性相关的时候Az才有可能为零,如果他们线性无关,那么一定存在一个非零的z,使得Az=0。也就是说A^TA是否为正定矩阵,与A的秩是否等于列数是等价的。
如果A的列向量线性无关,那么A^TA为正定矩阵。
如果A的列向量线性相关,那么A^TA为半正定矩阵。