# 線性代數 - Positive [Semi]definite Operators/Matrix

[TOC]

## 定義：正定/半正定

:::warning

**Def (半正定/正定線性運算)**

假定 $V$ 是一個 $\mathbf F$ 上的內積空間，且 $T \in \mathbb L(V)$。假定 $T$，*adjoint*，則：

**1. 半正定線性運算：** 若對於任意 $V$ 中的非零向量 $x$，$T$ 都滿足：

$$
\boxed{\langle T(x), x \rangle \geq 0}
$$

則稱 $T$ 為半正定。

**2. 正定線性運算**：若對於任意 $V$ 中的非零向量 $x$，都有：

$$
\boxed {\langle T(x), x \rangle > 0}
$$

則稱 $T$ 是一個正定的線性運算。

:::

## 定義：半正定/正定矩陣

:::warning
**Def (半正定/正定矩陣)**

假定 $V$ 是一個 $F$ 上的向量空間，且 $A \in F^{n\times n}$。若對於 $A$，定義以下的線性運算：

$$
\begin{align}
L_A : F^{n} & \to F^{n}
\newline
x &\mapsto Ax
\end{align}
$$

並且假定 $F^n$ 使用之內積為標準內積。則定義：

1. **半正定矩陣**：
假定 $L_A$ 是一個半正定的線性運算，則稱 $A$ 是一個半正定的矩陣。

2. **正定矩陣**
假定 $L_A$ 是一個正定的線性運算，則稱 $A$ 是一個正定的矩陣。

:::

### 觀察：矩陣中的對應

:::danger

假定 $V$ 是 $\mathbb C$ 或 $\mathbb R$ 上的有限維向量空間，且 $T \in \mathbb L(V)$。則下列兩個敘述等價：

1. **T 半正定**：即 $T^* = T$，且：

$$
\langle T(x), x \rangle \geq 0 \quad \forall x > 0
$$

2. **T 用正規基底量出來的矩陣是半正定矩陣**：

對於任何一個 *orthonormal basis* $\beta$，若用 $A$ 表示「$T$ 用 $\beta$ 量出來的矩陣表示法」：

$$
A = [T]_{\beta}^{\beta}
$$

是一個半正定矩陣。

:::

這可以直接宣稱：

$$
\langle T(x), x \rangle = \bigg([x]_{\beta} \bigg)^*\bigg([T]_{\beta}^{\beta}[x]_{\beta}\bigg)
$$

這樣標準內積的結果就會被 $\langle T(x), x \rangle$ 綁住，然後就證明完了。為了方便，令：

$$
\begin{align}
[T]_{\beta}^\beta &= A
\newline
[x]_\beta &= X
\end{align}
$$

所以，現在就是要問下面這個東西會不會比零大：

$$
X^*(AX)
$$

因為是標準內積，所以展開來就發現

$$
\sum_{i}\overline{X_i}\sum_{j}A_{ij}X_j
$$

首先，因為 $\beta$ 是標準基底，所以對於 $T$ 的矩陣表示法 $A$，$A$ 的第 $ij$ 元是：

$$
\begin{align}
A_{ij} &= \langle T(\beta_j), \beta_i \rangle
\newline
X_i &= \langle X_i, \beta_i \rangle
\end{align}
$$

把它帶回上面，就會發現其實是在算：

$$
\sum_i \overline{\langle x, \beta_i \rangle}\sum_j \langle T(\beta_j), \beta_i \rangle \langle x, \beta_j \rangle
$$

或是把 $i$ 塞進去：

$$
\sum_i \sum_j \overline{\langle x, \beta_i \rangle} \langle T(\beta_j), \beta_i \rangle \langle x, \beta_j \rangle
$$

然後就暴力展開啊，先對 $j$ 加總，再對 $i$ 加總，然後就發現這坨東西算的根本就是 $\langle T(x), x \rangle$，然後就證明完了。

## 等價條件：實數時特徵值不為負

:::danger

假定 $V$ 是一個 $\mathbb R$ 上的有限維向量空間，且 $T \in \mathbb L(V)$，且 $T^* = T$，則：

**1. 自伴線運的半正定等價條件**

「$T$ 為半正定」等價於 「$T$ 的特徵值均不小於零」：

$$
\begin{align}
&\langle T(x), x \rangle \geq 0\quad \forall x \iff \lambda \geq 0 \quad \forall \lambda
\end{align}
$$

**2. 自伴線運的正定等價條件**

「$T$ 為正定」等價於 「$T$ 的特徵值均大於 $0$」：

$$
\begin{align}
&\langle T(x), x \rangle > 0\quad \forall x \iff \lambda > 0 \quad \forall \lambda
\end{align}
$$

:::

($\Rightarrow$)：這個直接把半正定或正定的定義拿出來驗證就好。對於任何一個特徵值 $\lambda$，都可以找到一個長度為 $1$ 的特徵向量。假定這個特徵向量叫做 $x$，那麼可以發現：

$$
\langle T(x), x \rangle = \langle \lambda x, x \rangle = \lambda
$$

因此就表示： $\lambda$ 的正負號跟 $\langle T(x), x \rangle$ 一樣。因此由 $T$ 是依照半正定或正定就可知 $\lambda$ 分別只會大於等於 $0$ 或等於 $0$。

($\Leftarrow$)：因為半正定的定義以自伴為前提，由「自伴定理」知道 $T$ 有正規特徵基底。令正規特徵基底為 $\beta$。把任何一個 $x \in V$ 用這組正規特徵基底表出來：

$$
x = \sum_{i = 1}^{n}\langle x, \beta_i \rangle \beta_i
$$

然後暴力看看 $\langle T(x), x\rangle$ 會跑出什麼東西來：

$$
\begin{align}
\langle T(x) , x \rangle &= \left \langle T\left(\sum_{i = 1}^{n}\langle x ,\beta_i \rangle \beta_i \right) , \left(\sum_{i = 1}^{n}\langle x ,\beta_i \rangle \beta_i\right) \right \rangle \newline
&= \left \langle \sum_{i = 1}^{n}\langle x ,\beta_i \rangle \lambda_i\beta_i , \sum_{i = 1}^{n}\langle x ,\beta_i \rangle \beta_i \right \rangle \newline\newline
&= \sum_{i = 1}^{n} \lambda_i |\langle x ,\beta_i \rangle |^2 \end{align}
$$

因此，依照所有特徵值大於等於 $0$ 或大於 $0$，就可以證明 $\langle T(x), x \rangle$ 必定要大於等於 $0$ 或大於 $0$。

## 等價條件：可以開根號

:::danger

假定 $V$ 是一個 $\mathbb R$ 或 $\mathbb C$ 上的有限維內積空間。則：

**1. 半正定線運 = 可以開根號**

假定 $T \in \mathbb L(V)$ 。則「$T$ 半正定」的充分必要條件是：存在線性運算 $U$，使得：

$$
\boxed{\begin{align}
&T \text{ is positive semidefinite}
\newline
& \iff \exists U \in \mathbb L(V).\ T = U^*U
\end{align}}
$$

**2. 半正定矩陣 = 可以開根號**

假定 $A \in \mathbf F^{n \times n}$。則：

$$
\boxed{\begin{align}
&A \text{ is positive semidefinite}
\newline
&\iff \exists B \in \mathbf F^{n \times n}.B^*B = A
\end{align}}
$$

:::

這個是先證明矩陣的，矩陣的證明完之後，把矩陣找到的 $B$ 用 *isomorphism* 對應回線性運算，然後就結束了。

($\Leftarrow$)：要證明這件事情，就要證明 $L_A$ 是半正定。但因為有：

$$
\begin{align}
B^*B &= A
\newline
\underbrace{L_{B^*B}}_{L_{B}^*L_B} &= L_{A}
\end{align}
$$

所以就可以證明 $L_A$ 是半正定。因為：

$$
\langle L_A(x), x \rangle = \langle (L_B^* L_B)(x), x \rangle = \langle L_B(x), L_B(x) \rangle
$$

這東西根本就是 $\|L_B(x)\|$，所以必定不小於 $0$。然後這個方向就證明完了。

($\Rightarrow$)：不管這邊的 $F$ 是 $\mathbb R$ 或 $\mathbb C$，因為 $A$ *self-adjoint*，所以任何狀況都找到一個 $Q$，使得：

$$
A = Q^* D Q
$$

其中 $Q$ 是一個 *unitary* 的矩陣，而 $D$ 是一個對角矩陣。而且 $D$ 的對角線元素通通都是都是 $A$ 的特徵值。但因為現在這個東西是半正定，所以每一個 $A$ 的特徵值都不小於 $0$，所以就可以定義一個矩陣 $C$，這個矩陣的第 $ij$ 元是：

$$
O_{ij} = \begin{cases}\sqrt D_{ij} & i\text{ if } i = j
\newline
0 & \text{ otherwise}
\end{cases}
$$

因為 $C$ 中每一個元素都是實數，而且他又是對角矩陣，所以他自己的共軛轉置相乘，結果很顯然就是自己的平方，也就是變成 $D$：

$$
O^*O = OO = D
$$

現在就可以湊 $B$ 了。令：

$$
B = OQ
$$

這樣一來，暴力帶進去算 $B^*B$，就會發現它跟 $A$ 一樣：

$$
\begin{align}
B^*B &= (OQ)^*(OQ)
\newline
&= Q^*\underbrace{O^*O}_{D}Q
\newline
&= Q^*DQ = A
\end{align}
$$

## 性質：半正定平方之後維持半正定

:::danger

假定 $V$ 是一個 $F$ 上的有限維內積空間，則：

**1. 半正定線性運算平方後仍然半正定**：

假定 $T \in F^{n \times n}$。若 $T$ 是半正定，則 $T^2$ 也是半正定：

$$
\boxed{\begin{align}
&T \text{ is positive semidefinite}
\newline
&\Rightarrow T^2 \text{ is positive semidefinite}\newline
\end{align}}
$$

**2. 半正定矩陣平方後仍然半正定**：

假定 $A \in F^{n \times n}$。若 $A$ 為半正定，則 $A^2$ 也是半正定：

$$
\boxed{\begin{align}
&A \text{ is positive semidefinite}
\newline
&\Rightarrow A^2 \text{ is positive semidefinite}\newline
\end{align}}
$$

:::

線性運算的部分，因為 $T$ 已經 *self-adjoint* 了，所以就看看 $T^2$ 是否滿足半正定的定義：

$$
\langle T^2(x) \mid x \rangle = \langle T(x) \mid T^*(x) \rangle = \langle T(x) \mid T(x) \rangle \geq 0
$$

然後就發現真的是半正定。接著證明矩陣的部分，假定 $A$ 半正定，因為半正定以自伴為前提，故 $A^* = A$。因此：

$$
A^2 = AA = A^*A
$$

然後用上面的定理就證明完了。

## 性質：開根號的結果半正定，則平方根唯一

:::danger

假定 $V$ 是一個 $F$ 上的有限維內積空間，則：

**1. 如果線運有半正定的平方根，則平方根唯一**：假定 $T_1, T_2 \in \mathbb L(V)$，且 $T_1, T_2$ 均為半正定。若：

$$
T_1^2 = T_2^2
$$

則：

$$
T_1 = T_2
$$

**2. 如果矩陣有半正定的平方根，則平方根唯一**：

假定 $A, B \in F^{n}$，且 $A, B$ 均為半正定矩陣。若：

$$
A^2 = B^2
$$

則：

$$
A = B
$$

:::

只要證線運版的，矩陣版就自動證出來，因為矩陣版的定義也是用線運訂出來的。$A, B$ 半正定表示 $A_A, L_B$ 半正定，如果再有 $A^2 = B^2$，那麼就可以一步一步把他轉換成線性轉換版的問題。因為兩個矩陣相等的定義是兩個矩陣所「對應的矩陣線性轉換」是同樣的，套在這邊的話， $A^2 = B^2$ 的定義就是：

$$
L_{A^2} = L_{B^2}
$$

而 $A^2$ 跟 $B^2$ 其實只是 $AA$ 跟 $BB$ 的簡寫：

$$
L_{AA} = L_{BB}
$$

所以再利用矩陣線性轉換的性質，上面這個東西其實跟下面這個東西是一樣的：

$$
(L_A)^2 = (L_B)^2
$$

假設現在線性轉換的版本對，那套用線性轉換版的結論，就會得到 $L_A = L_B$。但這就是 $A = B$ 的定義，所以不用。接下來專心證線轉版的就好。

---

1. 首先， $T_1, T_2$ 半正定，而前面的推論知道：若 $T_1, T_2$ 半正定，則 $T_1^2, T_2^2$ 也都是半正定。
2. 接著，半正定的定義自動包含了自伴，所以 $T_1^2= T_2^2$ 也自伴。既然自伴，所以就存在 $T_1^2$ 這個線性轉換的正規特徵基底。假定這個正規特徵基底叫做 $\beta$。
3. 最後，因為 $T_1^2$ 跟 $T_2^2$ 都半正定，所以他所有的特徵值不小於 $0$。

因此，對於任意 $\beta_i \in \beta$，都有：

$$
T_1^2(\beta_i) = T_2^2 (\beta_i) = \lambda_i \beta_i \quad \lambda_i \geq 0
$$

現在要證明的目標是：每一個 $\beta$ 中的元素，都會被 $T_1$ 跟 $T_2$ 送去一樣的地方：

$$
T_1(\beta_i) = T_2(\beta_i) \quad \forall \beta_i \in \beta
$$

假定現在 $\lambda_i = 0$，所以這個 $\beta_i$ 不管是帶進去 $T_1^2$ 或 $T_2^2$，結果都是 $0$。所以下面這個東西的內積也都是 $0$：

$$
\langle T_1^2(\beta_i), \beta_i \rangle = \langle T_2^2(\beta_i), \beta_i \rangle = 0
$$

這時用上 $T_1, T_2$ 是 *self-adjoint*，翻過去之後就會發現這根本就是在說 $T_1(\beta_i)$ 跟 $T_2(\beta_i)$ 的長度是 $0$：

$$
\underbrace{\langle T_1(\beta_i), T_1(\beta_i) \rangle}_{\|T_1(\beta_i)\|^2} = \underbrace{\langle T_2(\beta_i), T_2(\beta_i) \rangle}_{\|T_2(\beta_i)\|^2} = 0
$$

既然長度是 $0$，所以唯一的可能就是這個向量是 $0$。也就是：

$$
T_1(\beta_i) = T_2(\beta_i) = 0
$$

所以 $T_1$ 跟 $T_2$ 就把這個基底送到一樣的地方。

接下來證明：$\beta_i$ 對應的特徵值 $\lambda_i$ 不是 $0$ 時，$T_1$ 跟 $T_2$ 也會把這個 $\beta_i$ 送去一樣的地方。事實上，接下來要證明的是「$\beta_i$ 也是 $T_1, T_2$ 的特徵向量」，而且他們的特徵值只差開根號。也就是：

$$
T_1(\beta_i) = T_2(\beta_i) = \sqrt{\lambda_i} \beta_i
$$

為了方便下面說明，假定 $T$ 是 $T_1$ 跟 $T_2$ 裡面隨便一個，也就是 $T \in \{T_1, T_2\}$。由前提知道：不管 $T = T_1$ 或 $T = T_2$，都會滿足：

$$
(T^2 - \lambda_i I)(\beta_i) = 0
$$

而這就是在說：

$$
\underbrace{(T + \sqrt{\lambda_i} I)}_{(1)}\underbrace{(T - \sqrt{\lambda_i}I)}_{(2)}(\beta_i) = 0
$$

而現在的證明目標是：從上面這個東西推論到下面這個東西：

$$
\underbrace{(T - \sqrt{\lambda_i}I)}_{(2)}(\beta_i) = 0
$$

如果可以證明 $(1)$ 是個線性對轉，那就可以用怒空僅零保證 $\beta_i$ 帶進 $(2)$ 的結果是 $0$，然後就證明完了。而要證明這個東西，就是看 $(1)$ 的行列式是不是 $0$，也就是要算下面這個東西：

$$
\det \left(\left[T + \sqrt{\lambda_i}I\right]_{\beta}^{\beta}\right)
$$

而觀察一下他的形式，會發現這個東西根本就是 $T$ 的特徵多項式 $f_T$ 帶 $-\sqrt{\lambda_i}$ 進去。所以其實就是在算：

$$
f_T(-\sqrt{\lambda_i})
$$

假定 $\Lambda_j$ 是每個 $T$ 對應的特徵值，所以 $T$ 的特徵多項式 $f_T$ 就會有下面這樣的形式：

$$
f_T(t) = \prod_{j = 1}^{n}\left(\Lambda_j - t \right)
$$

其中，又因為前提有說 $T$ 是半正定。換句話說每一個 $\Lambda_j$ 通通都不小於 $0$。也就是：

$$
\Lambda_j \geq 0 \quad \forall \Lambda_j
$$

所以把 $-\sqrt{\lambda_i}$ 帶進 $f_T$，就發現是一堆正數乘在一起，所以一定不小於 $0$：

$$
f_T(-\sqrt{\lambda_i}) = \underbrace{\prod_{j = 1}^{n}\left(\lambda_j + \sqrt{\lambda_i}\right)}_{> 0}
$$

既然行列式值不是 $0$，就表示 $(1)$ 是個可逆的線性轉換。所以如果他會把某個元素送到 $0$，那一定是因為那個元素是 $0$。所以：

$$
\begin{align}
&\underbrace{(T + \sqrt{\lambda_i}I)}_{(1)}\underbrace{(T - \sqrt{\lambda_i}I)}_{(2)}(\beta_i) = 0
\newline
&\Rightarrow \underbrace{(T - \sqrt{\lambda_i}I)}_{(2)}(\beta_i) = 0
\end{align}
$$

但這就是在說：

$$
T(\beta_i) = \sqrt{\lambda_i} \beta_i
$$

所以就證明了 $\beta_i$ 也會是 $T_1$ 跟 $T_2$ 的特徵向量，而且都會把 $\beta_i$ 送到 $\sqrt{\lambda_i}\beta_i$。所以不管 $\lambda_i$ 是 $0$ 還是正數，$T_1$ 跟 $T_2$ 都會把 $\beta_i$ 送到一樣的地方。既然這兩個線性運算把一組基底每一個向量都送到一樣的結果，那證明了這兩個線性運算根本一樣。