# 【資工考研】特徵理論 - 特徵現象

線性代數重點複習摘要

在工數，特徵現象我覺得是件很神奇的事
他就像突然混進你跟朋友遠征旅途的陌生人，總之一切開始了...

## 特徵現象

把我在工數學過的開場白再稍微包裝一下，我們在這段內容中，要找的是具備下列特徵的目標：

$$
\left[ T \right]_\beta = \begin{bmatrix}
\begin{bmatrix}
T(b_1)
\end{bmatrix}_\beta & \begin{bmatrix}
T(b_2)
\end{bmatrix}_\beta & \begin{bmatrix}
T(b_3)
\end{bmatrix}_\beta
\end{bmatrix} = \begin{bmatrix}
\lambda_1 & 0 & 0 \\
0 & \lambda_2 & 0 \\
0 & 0 & \lambda_3
\end{bmatrix}
$$

其中 $b_1$, $b_2$, $b_3$ 皆為基底向量 (所以非零)

上面的東西沒感覺嗎？
仔細看就會發現上面是三組特徵現象：

$$
\begin{cases}
T(b_1) = \lambda_1b_1 \\
T(b_2) = \lambda_1b_2 \\
T(b_3) = \lambda_1b_3 \\
\end{cases}
$$

我們是這樣定義特徵現象的：

給定 $T\in\mathcal{L}(V,V)$

$$
Tx = \lambda x, x\neq 0
$$

稱 $(\lambda, x)$ 為 $T$ 之 eigenpair ，其中 $\lambda$ 為 eigenvalue 、 $x$ 為 eigenvector
把上面改成方陣 $A$ 也是差不多就不贅述

如果 $\lambda$ 為 $A$ 之 eigenvalue ，我們可以稱其為 $A$ 之頻譜 ，記做 $\lambda\in\sigma (A)$

以前常聽見的是 Eigenvalue 的判別式：

$$
\lambda\in\sigma (A) \Leftrightarrow det(A-\lambda I) = 0
$$

也就是 $A-\lambda I$ 不可逆

簡單想一下：

$$
\lambda\in\sigma (A) \Leftrightarrow \exists x\neq 0, Ax = \lambda x \Leftrightarrow \exists x\neq 0, (A-\lambda I)x = 0
$$

上面即在說 $(A-\lambda I)x = 0$ 有非零解，這意思不就是 $A-\lambda I$ 不可逆，即 $det(A-\lambda I) = 0$

說來慚愧，當年我就是學藝不精，沒有意識到 $x\neq 0$ 這件事，所以對於教授讓我們直接解 $det(A-\lambda I) = 0$ 感到困惑，~~更好笑的是我的困惑只堅持了幾秒，後面就沒想這麼多乖乖解就對了~~

我們定義 $P_A\equiv det(A-\lambda I)$ 為 $A$ 之特徵多項式
當年的我就是沒想太多在解這個 $P_A = 0$ (很顯然我知道 $x\neq 0$ ，但就是沒聯想太多事情)

那在[相似](https://hackmd.io/@RyoukiWei/Sk5nFTK3C)的地方有提到相似六保，後面兩個就是這段內容的東西

## 特徵空間 (Eigenspace)

如果讀者在看到解 $(A-\lambda I)x = 0$ 時有被什麼觸動到，那恭喜你，你的腦中已經在建構著線性代數的網路了

前面廢話說了這麼多 $x\neq 0$ 的事不是為了分享~~自己以前這麼白癡工數竟然還拿 A+~~，想想看，如果不考慮 $x\neq 0$ ，這東西很像之前學的什麼東西？
沒錯，不就是在解 $ker(A - \lambda I)$ 嗎？
這可是堂堂向量空間啊！

也就是說我們特徵現象跟跟向量空間只差個零向量 (向量空間公設， $\exists 0\in V, \forall x\in V: x + 0 = 0 + x = x$)


我們定義特徵空間 $E(A,\lambda) \equiv ker(A-\lambda I) = \left\{ x | (\lambda ,x)\text{ 為 eigenpair} \right\} \cup \left\{ 0 \right\}$

這東西我們以後會繼續用

***

接下來要來建立一些方便我們神功大成的觀念

### 相異 eigenvalue 數

$A\in \mathbb{F}^{n\times n}$ ,
$\sigma(A)$ 為 $P_A(z) = 0$ 的解集，則 $\sigma (A)$ 最多 $n$ 解
這應該是高中數學的程度

(註：考慮 $f(z)$ 為 $n$ 次多項式，若 $f(z) = 0$ 在 $\mathbb{F}$ 中恰有 $n$ 個根，我們稱 $f(z) \text{ split in } \mathbb{F}$ )

若我們定義 $\sigma (A)$ 中相異 eigenvalue 數目為 $|\sigma (A)| = r$ ($\sigma (A) = \left\{ \lambda_i \right\}_{i=1}^r$)

我們會得到一個相當重要的定理：

Let $(\lambda_i, x_i)$ 為 $A$ 之 eigenpair, for $i = 1,2, \cdots, r$
Then $\left\{ x_i \right\}_{i=1}^r$ **必為獨立集 in $V$**

這絕對要記在心中！

至於證明，我們也要會。作法可以用考資工一定要學會的數學歸納法：

> If $r = 1$ ，任取 $(\lambda_1 ,x_1)$ 為 $A$ 之 eigenpair ， 可知 $x_1$ 為一非零向量，故 $\left\{ x_1 \right\}$ 必為獨立集 in $V$ ，定理成立
>
> 設 $r = k$ 時定理成立
>
> 考慮 $r = k+1$ 時，任取 $(\lambda_i, x_i)$ 為 $A$ 之 eigenpair, for $i = 1,2, \cdots, k+1$
> claim $\left\{ x_i \right\}_{i=1}^{k+1}$ 為獨立集 in $V$
> 設 $\sum\limits_{i=1}^{k+1}c_ix_i = 0$ ， claim $c_1 = c_2 = \cdots = c_{k+1} = 0$
> 左右兩式左乘 $A$ 得 $A \sum\limits_{i=1}^{k+1}c_ix_i = \sum\limits_{i=1}^{k+1}c_i\lambda_ix_i = 0$ ...(1)
> 若另外對原式左右同乘 $\lambda_{k+1}$ 則可得 $\sum\limits_{i=1}^{k+1}c_i\lambda_{k+1}x_i = 0$ ...(2)
> (1) - (2) 可得 $\sum\limits_{i=1}^{k+1}c_i(\lambda_i - \lambda_{k+1})x_i = 0$ ...(3)
> 又由歸納假設知 $\lambda_i$ for $i = 1,2,\cdots,k$ 全相異，且 $c_1 = c_2 = \cdots = c_k = 0$
> 將 (3) 整理可得 $c_{k+1}x_{k+1} = 0$ 且 $x_{k+1}$ 為 eigenvector ， $\therefore x_{k+1}\neq 0$
> 故 $c_1 = c_2 = \cdots = c_{k+1} = 0$
>
> 由數學歸納法得證 $\square$

***

設 $A\in\mathbb{F}^{m\times n}, B\in\mathbb{F}^{n\times m}$
則 $x^m det(xI-BA) = x^n det (xI - AB)$

上面這件事要證明，方法很簡單，只是可能不好想
我們只要湊出以下：

$$
\begin{pmatrix}
I_m & O \\
-B & I_n
\end{pmatrix}\begin{pmatrix}
xI_m - AB & A \\
O & xI_n
\end{pmatrix}\begin{pmatrix}
I_m & O \\
B & I_n
\end{pmatrix} = \begin{pmatrix}
xI_m & A \\
O & xI_n - BA
\end{pmatrix}
$$

然後兩邊同取 $det$ 即可

怎麼想到？這個嘛...


反正從上面我們可以得出結論：

**$P_{AB}$ 跟 $P_{BA}$ 的零根恰差 $|m- n|$ 個零重根**

### Eigenvalue 表現定理

若 $(\lambda ,x)$ 為 $A$ 之 eigenpair (簡稱 eigenpair wrt $A$) ，則：

1. $(\lambda^2 ,x)$ 為 eigenpair wrt $A^2$ (同理，$(\lambda^n ,x)$ 為 eigenpair wrt $A^n$)
2. 若 $A$ 可逆，$(\lambda^{-1} ,x)$ 為 eigenpair wrt $A^{-1}$
3. $(\lambda + j ,x)$ 為 eigenpair wrt $A + jI$

比較值得注意的是

4. $(\lambda ,x')$ 為 eigenpair wrt $A^T$
這邊 eigenvector 沒有保證相同 ($det(A-\lambda I) = 0$ 只能推 $det(A^T-\lambda I) = 0 \therefore \lambda\in\sigma (A^T)$)

上面為一些妙妙小工具，知道總比不知道好

下面這個幾個就屬於會頻繁用到的妙妙小工具了：

### 列和 ($S_r$)與行和 ($S_c$)

如果 $A_{n\times n}$ 每列的總和都是 $s$
則 **$(s,1)$ 為 eigenpair wrt $A$**

寫成這樣有可能有人沒反應過來為什麼，但這其實很簡單可得：

如果把 $A$ 表示成 $\begin{bmatrix}
a_1 & a_2 & \cdots & a_n
\end{bmatrix}_{n\times n}$ 的話
那不就很明顯知道

$$
A\begin{pmatrix}
1 \\
1 \\
\vdots \\
1
\end{pmatrix} = \sum\limits_{i=1}^{n}a_i = s\begin{pmatrix}
1 \\
1 \\
\vdots \\
1
\end{pmatrix}
$$

這在幹嘛？看仔細，這就在列和啊

也就是說，考研題目如果題目出得漂亮的話，用列和我們就能秒得其中某個 eigenvalue 了，連解 $P_A(z) = 0$ 都不用解

(註：$A$ with $S_r = s$ 則 $A^T$ with $S_c =s$ ，由前面的妙妙小工具我們知道如果 $s\in\sigma (A)$ 的話那 $s\in\sigma (A^T)$)

### $det(A)$ 與 $tr(A)$

只有上面的列和不夠，我們還要兩個厲害的小工具：

1. $\prod\limits_{i=1}^{n}\lambda_i = det(A)$
2. $\sum\limits_{i=1}^{n}\lambda_i = tr(A)$

這邊如果高中數學不錯的話，應該能直接看出來
$P_A(z) = det(A - zI)$ 我們可以不失一般性的假設 $P_A(z) = (-1)^n(z-\lambda_1)(z-\lambda_2)\cdots (z-\lambda_n)$ ，其中 $\lambda_i$ for $i = 1,2,\cdots,n$ 為 $P_A(z) = 0$ 之根

當你代 $P_A(0)$ 的時候你會發現就是 $det(A - 0I) = det(A)$ 上面的 1. 瞬間就看出來了
至於 2. 的話，更吃高中數學的程度了，程度好的應該也能想到 $tr(A) = \sum\limits_{i=1}^na_{ii}$ 如果乘 $(-1)^{n-1}$ 就是 $P_A(z)$ 中 $z^{n-1}$ 那項之係數
所以我們經過比較細數知 $(-1)^{n-1}\sum\limits_{i=1}^na_{ii} = (-1)^n\sum\limits_{i=1}^n-\lambda_i$ ，這下 2. 也得出了

(真的不行就直接記結論ㄅ)