{%hackmd 5xqeIJ7VRCGBfLtfMi0_IQ %}

# 代數重數與幾何重數

This work by Jephian Lin is licensed under a [Creative Commons Attribution 4.0 International License](http://creativecommons.org/licenses/by/4.0/).

$\newcommand{\trans}{^\top}
\newcommand{\adj}{^{\rm adj}}
\newcommand{\cof}{^{\rm cof}}
\newcommand{\inp}[2]{\left\langle#1,#2\right\rangle}
\newcommand{\dunion}{\mathbin{\dot\cup}}
\newcommand{\bzero}{\mathbf{0}}
\newcommand{\bone}{\mathbf{1}}
\newcommand{\ba}{\mathbf{a}}
\newcommand{\bb}{\mathbf{b}}
\newcommand{\bc}{\mathbf{c}}
\newcommand{\bd}{\mathbf{d}}
\newcommand{\be}{\mathbf{e}}
\newcommand{\bh}{\mathbf{h}}
\newcommand{\bp}{\mathbf{p}}
\newcommand{\bq}{\mathbf{q}}
\newcommand{\br}{\mathbf{r}}
\newcommand{\bx}{\mathbf{x}}
\newcommand{\by}{\mathbf{y}}
\newcommand{\bz}{\mathbf{z}}
\newcommand{\bu}{\mathbf{u}}
\newcommand{\bv}{\mathbf{v}}
\newcommand{\bw}{\mathbf{w}}
\newcommand{\tr}{\operatorname{tr}}
\newcommand{\nul}{\operatorname{null}}
\newcommand{\rank}{\operatorname{rank}}
%\newcommand{\ker}{\operatorname{ker}}
\newcommand{\range}{\operatorname{range}}
\newcommand{\Col}{\operatorname{Col}}
\newcommand{\Row}{\operatorname{Row}}
\newcommand{\spec}{\operatorname{spec}}
\newcommand{\vspan}{\operatorname{span}}
\newcommand{\Vol}{\operatorname{Vol}}
\newcommand{\sgn}{\operatorname{sgn}}
\newcommand{\idmap}{\operatorname{id}}
\newcommand{\am}{\operatorname{am}}
\newcommand{\gm}{\operatorname{gm}}$

from lingeo import random_int_list, random_good_matrix

## Main idea

We have seen whether a matrix $A$ is diagonalizable depends on how many (independent) vectors we can find in $\ker(A - \lambda I)$ for each eigenvalue $\lambda\in\spec(A)$.
In this section, we will give some quantitative measures on how much a matrix is diagonalizable.

Let $A$ be an $n\times n$ matrix and $p_A(x)$ its characteristic polynomial.
For each $\lambda \in \spec(A)$,

- the **algebtraic multiplicity** of $\lambda$ is the multiplicity of $\lambda$ as a root of $p_A(x)$, denoted by $\am_A(\lambda)$, while
- the **geometric multiplicity** of $\lambda$ is the dimension of $\ker(A - \lambda I)$, denoted by $\gm_A(\lambda)$.

When the context is clear, the subscript $A$ can be omitted.

For any $n\times n$ matrix $A$ and $\lambda\in\spec(A)$, the following properties hold.

- $1 \leq \gm(\lambda) \leq \am(\lambda)$.
- The sum of $\am(\lambda)$ over all distinct eigenvalues $\lambda$ is $n$.
- The matrix $A$ is diagonalizable if and only $\gm(\lambda) = \am(\lambda)$ for all distinct eigenvalues $\lambda$.

The fact $1\leq\gm(\lambda)$ follows immediate from the definition that $A - \lambda I$ is singular when $\lambda$ is an eigenvalue.
The exercises contains a proof of $\gm(\lambda) \leq \am(\lambda)$.
The sum of $\am(\lambda)$ is equal to the degree of $p_A(x)$, which is $n$.

If $\gm(\lambda) < \am(\lambda)$ for some $\lambda$, then the sum of all geometric multiplicities is less than $n$, so it is impossible to find a basis composed of eigenvectors.
If $\gm(\lambda) = \am(\lambda)$ for all distinct eigenvalues $\lambda$, we will show in the next section that $A$ is diagonalizable.

##### Proposition

Let $A$ be an $n\times n$ matrix.
If the characteristic polynomial $p_A(x)$ has $n$ distinct roots, then $A$ is diagonalizable.

## Side stories

- Jordan block
- invariant subspace

## Experiments

##### Exercise 1

執行以下程式碼。

### code
set_random_seed(0)
print_ans = False

am1 = choice([2,3])
am2 = choice([2,3])
n = am1 + am2
while True:
    lam1, lam2 = random_int_list(2,3)
    if lam1 != lam2:
        break
gm1 = randint(1,am1)
gm2 = randint(1,am2)

block1 = [matrix([[lam1]]) for i in range(gm1 - 1)] + [jordan_block(lam1, am1 - gm1 + 1)]
block2 = [matrix([[lam2]]) for i in range(gm2 - 1)] + [jordan_block(lam2, am2 - gm2 + 1)]
D = block_diagonal_matrix(block1 + block2)
Q = random_good_matrix(n,n,n,2)
A = Q * D * Q.inverse()

pretty_print(LatexExpr("A ="), A)
pA = (-1)^n * A.charpoly()
print("characteristic polyomial =", pA)
print("                         =", factor(pA))
print("rref of A - (%s)I:"%lam1)
pretty_print((A - lam1).rref())
print("rref of A - (%s)I:"%lam2)
pretty_print((A - lam2).rref())

if print_ans:
    print("lambda =", lam1)
    print("am(lambda) =", am1)
    print("gm(lambda) =", gm1)
    print("lambda =", lam2)
    print("am(lambda) =", am2)
    print("gm(lambda) =", gm2)
    print("Diagonalizable?", am1 == gm1 and am2 == gm2)

##### Exercise 1(a)

求 $A$ 的每一個特徵值的代數重數與幾何重數。

$Ans:$

當 ```seed=0``` 時，

$$
A = \begin{bmatrix}
19 & -23 & -3 & 9 \\
-38 & 40 & 7 & -17 \\
-77 & 85 & 11 & -34 \\
-173 & 190 & 29 & -78 \\
\end{bmatrix}.
$$

$p_A(x)=x^4 + 8x^3 + 22x^2 + 24x + 9=(x + 1)^2 (x + 3)^2。$

若 $p_A(x)=0$ , 則 $x=-1,-1,-3,-3$ , $\spec(A) = \{-1,-1,-3,-3\}$。

$\lambda = -1$ ,
$A-\lambda I = \begin{bmatrix}
20 & -23 & -3 & 9 \\
-38 & 41 & 7 & -17 \\
-77 & 85 & 12 & -34 \\
-173 & 190 & 29 & -77 \\
\end{bmatrix}$ ,
$(A-\lambda I)$ 的 RREF 為 $\begin{bmatrix}
1 & 0 & 0 & \frac{2}{17}\\
0 & 1 & 0 & -\frac{4}{17}\\
0 & 0 & 1 & -\frac{7}{17}\\
0 & 0 & 0 & 0
\end{bmatrix}$，
$\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}-\frac{2}{17}\\\frac{4}{17}\\\frac{7}{17}\\1\end{pmatrix}\right\}$；

$\lambda = -3$ ,
$A-\lambda I = \begin{bmatrix}
22 & -23 & -3 & 9 \\
-38 & 43 & 7 & -17 \\
-77 & 85 & 14 & -34 \\
-173 & 190 & 29 & -75 \\
\end{bmatrix}$ , $A-\lambda I$ 的 RREF 為 $\begin{bmatrix}
1 & 0 & 0 & \frac{1}{6}\\
0 & 1 & 0 & -\frac{1}{6}\\
0 & 0 & 1 & -\frac{1}{2}\\
0 & 0 & 0 & 0\\
\end{bmatrix}$
$\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}-\frac{1}{6}\\\frac{1}{6}\\\frac{1}{2}\\1\end{pmatrix}\right\}$ 。

一個特徵值的代數重數為該特徵值在特徵多項式中重根幾次。

一個特徵值 $\lambda$ 的幾何重數為 $\operatorname{null}(A-\lambda I)$。

則我們可以得到 $\am_A(-1) = 2$ , $\gm_A(-1) = 1$ , $\am_A(3) = 2$ , $\gm_A(3) = 1$

##### Exercise 1(b)

判斷 $A$ 是否可對角化。

$Ans:$

如果 $A$ 的所有特徵值的代數重數等於幾何重數，那麼 $A$ 可以對角化.
如果 $A$ 的其中一個特徵值的代數重數不等於幾何重數，那麼 $A$ 不可以對角化.

因為 $\am_A(-1) \not = \gm_A(-1)$ 且 $\am_A(-3) \not = \gm_A(-3)$ ，所以 $A$ 不可對角化。

## Exercises

##### Exercise 2

對以下矩陣，
計算每一個特徵值的代數重數與幾何重數，
並判斷其是否可以對角化。

##### Exercise 2(a)

$$
A = \begin{bmatrix}
0 & 1 \\
-6 & 5
\end{bmatrix}.
$$

$Ans:$
$$
\begin{aligned}
p_A(x) &= \det(A-xI)\\
&= -x(5-x) + 6\\
&= x^2 - 5x + 6\\
&= (x-2)(x-3)，
\end{aligned}
$$

若 $p_A(x)=0$ , 則$x=3,2$ , $\spec(A) = \{3,2\}$。

$\lambda = 3$ ,
$A-\lambda I = \begin{bmatrix}
-3 & 1 \\
-6 & 2
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}\frac{1}{3}\\1\end{pmatrix}\right\}$ ；

$\lambda = 2$ ,
$A-\lambda I = \begin{bmatrix}
-2 & 1 \\
-6 & 3
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}\frac{1}{2}\\1\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(3) = \gm_A(3) = 1, \am_A(2) = \gm_A(2)=1$ ，
又對於所有相異的 $\lambda$ 都滿足 $\am_A(\lambda) = \gm_A(\lambda)$ ，所以 $A$ 可對角化。

##### Exercise 2(b)

$$
A = \begin{bmatrix}
-1 & 1 \\
-1 & 1
\end{bmatrix}.
$$
$Ans:$

$$
\begin{aligned}
p_A(x) &= \det(A-xI)\\
&= (-1-x)(1-x)+1\\
&= x^2，
\end{aligned}
$$

若$p_A(x)=0$ , $x=0,0$ , $\spec(A) = \{0,0\}$ 。

$\lambda = 0$ ,
$A-\lambda I = \begin{bmatrix}
-1 & 1 \\
-1 & 1
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}1\\1\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(0) = 2, \gm_A(0) = 1$ ，因為 $\am_A(0) \not = \gm_A(0)$ ，所以 $A$ 不可對角化。

##### Exercise 3

對以下矩陣，
計算每一個特徵值的代數重數與幾何重數，
並判斷其是否可以對角化。

##### Exercise 3(a)

$$
A = \begin{bmatrix}
4 & 0 & -1 \\
0 & 4 & -1 \\
-1 & -1 & 5
\end{bmatrix}.
$$

$Ans:$

找 $p_A(x) = \det(A-xI) = -(x-3)(x-4)(x-6)$ ，若 $p_A(x) = 0$ ，即可得 $\spec(A) = \{3,4,6\}$ 。

令
$\lambda = 3$ ,
$A-\lambda I = \begin{bmatrix}
1 & 0 & -1 \\
0 & 1 & -1 \\
-1 & -1 & 2 \\
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}1\\1\\1\end{pmatrix}\right\}$ ；

$\lambda = 4$ ,
$A-\lambda I = \begin{bmatrix}
0 & 0 & -1 \\
0 & 0 & -1 \\
-1 & -1 & 1 \\
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}-1\\1\\0\end{pmatrix}\right\}$ ；

$\lambda = 6$ ,
$A-\lambda I = \begin{bmatrix}
-2 & 0 & -1 \\
0 & -2 & -1 \\
-1 & -1 & -1 \\
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}-\frac{1}{2}\\-\frac{1}{2}\\1\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(3) = \gm_A(3) = 1, \am_A(4) = \gm_A(4) = 1, \am_A(6) = \gm_A(6) = 1$ ，
又對於所有相異的 $\lambda$ 都滿足 $\am_A(\lambda) = \gm_A(\lambda)$ ，所以 $A$ 可對角化。

##### Exercise 3(b)

$$
A = \begin{bmatrix}
1 & 3 & 2 \\
2 & 4 & 3 \\
-3 & -7 & -5
\end{bmatrix}.
$$

$Ans:$

找 $p_A(x) = \det(A-xI) = -x^3$ ，若 $p_A(x) = 0$ ，即可得 $\spec(A) = \{0,0,0\}$ 。

令
$\lambda = 0$ ,
$A-\lambda I = \begin{bmatrix}
1 & 3 & 2 \\
2 & 4 & 3 \\
-3 & -7 & -5 \\
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}-\frac{1}{2}\\-\frac{1}{2}\\1\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(0) = 3, \gm_A(0) = 1$ ，因為 $\am_A(0) \not = \gm_A(0)$ ，所以 $A$ 不可對角化。

##### Exercise 4

以下矩陣稱為喬丹區塊矩陣（Jordan block）。
說明以下矩陣
不計算重數的話只有一個特徵值，
計算這個特徵值的代數重數與幾何重數。

因此大小大於等於 $2$ 的喬丹區塊矩陣皆不可對角化。

##### Exercise 4(a)

$$
A = \begin{bmatrix}
0 & 1 & 0 & 0 \\
0 & 0 & 1 & 0 \\
0 & 0 & 0 & 1 \\
0 & 0 & 0 & 0
\end{bmatrix}.
$$

$Ans:$

找 $p_A(x) = \det(A-xI) = x^4$ ，若 $p_A(x) = 0$ ，即可得 $\spec(A) = \{0,0,0,0\}$ 。

令
$\lambda = 0$ ,
$A-\lambda I = \begin{bmatrix}
0 & 1 & 0 & 0 \\
0 & 0 & 1 & 0 \\
0 & 0 & 0 & 1 \\
0 & 0 & 0 & 0
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}1\\0\\0\\0\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(0) = 4, \gm_A(0) = 1$ ，因為 $\am_A(0) \not = \gm_A(0)$ ，所以 $A$ 不可對角化。

##### Exercise 4(b)

$$
A = \begin{bmatrix}
3 & 1 & 0 & 0 & 0 \\
0 & 3 & 1 & 0 & 0 \\
0 & 0 & 3 & 1 & 0 \\
0 & 0 & 0 & 3 & 1 \\
0 & 0 & 0 & 0 & 3
\end{bmatrix}.
$$

$Ans:$

找 $p_A(x) = \det(A-xI) = (3-x)^5$ ，若 $p_A(x) = 0$ ，即可得 $\spec(A) = \{3,3,3,3,3\}$ 。

令
$\lambda = 3$ ,
$A-\lambda I = \begin{bmatrix}
0 & 1 & 0 & 0 & 0 \\
0 & 0 & 1 & 0 & 0 \\
0 & 0 & 0 & 1 & 0 \\
0 & 0 & 0 & 0 & 1 \\
0 & 0 & 0 & 0 & 0
\end{bmatrix}$ , $\ker(A-\lambda I) = \vspan\left\{\begin{pmatrix}1\\0\\0\\0\\0\end{pmatrix}\right\}$ 。

則我們可以得到 $\am_A(3) = 5, \gm_A(3) = 1$ ，因為 $\am_A(3) \not = \gm_A(3)$ ，所以 $A$ 不可對角化。
##### Exercise 5

找尋滿足以下條件的矩陣。

##### Exercise 5(a)

找一個矩陣 $A$ 使得
$\spec(A) = \{2,2,3,3,3\}$、
$\gm(2) = 1$ 且 $\gm(3) = 2$。

**ANS:**

$A = \begin{bmatrix}
2 & 0 & 0 & 0 & 0 \\
1 & 3 & 0 & 0 & 0 \\
0 & 1 & 2 & 0 & 0 \\
0 & 0 & 1 & 3 & 0 \\
0 & 0 & 0 & 0 & 3
\end{bmatrix}$。
\
再來透過驗算可以得到以下結果：
\
當 $\lambda=2$ 時， $\ker(A-2 I) = \vspan\left\{\begin{pmatrix}0\\0\\0\\-1\\1\end{pmatrix}\right\}$ 。
\
因此 $\gm(2) = 1$。
\
當 $\lambda=3$ 時，特徵向量為$\begin{bmatrix}
0 \\
0 \\
0 \\
1 \\
0
\end{bmatrix}$
以及$\begin{bmatrix}
0 \\
0 \\
0 \\
0 \\
1
\end{bmatrix}$，
因此 $\gm(3) = 2$。

:::success
Good job!
我心裡想的是 $J_{2,2}\oplus J_{3,2} \oplus J_{3,1}$。
:::

##### Exercise 5(b)

找一個每一項都不為零的矩陣 $A$ 使得
$\spec(A) = \{2,2,3,3,3\}$、
$\gm(2) = 1$ 且 $\gm(3) = 2$。

**Ans:**
令
$$
A = \begin{bmatrix}
6 & -2 & 16 & -10 & -7\\
-2 & 1 & 6 & -3 & -2\\
4 & -7 & 43 & -24 & -17\\
5 & -10 & 60 & -33 & -25\\
5 & -2 & 14 & -9 & -4
\end{bmatrix}.
$$

驗證:
$$
\begin{aligned}
p_A(x) &= \det(A-xI)\\
&=-x^5+13x^4-67x^3+171x^2-216x+108\\
&=-(x-2)^2(x-3)^3
\end{aligned}
$$
所以 $\spec(A) = \{ 2, 2, 3, 3, 3 \}$，$\am(2)=2$，$\am(3)=3$.

$A-2I$ 的 RREF 為
$$
\begin{bmatrix}
1 & 0 & 0 & -\frac{1}{5} & 0\\
0 & 1 & 0 & -\frac{1}{5} & 0\\
0 & 0 & 1 & -\frac{3}{5} & 0\\
0 & 0 & 0 & 0 & 1\\
0 & 0 & 0 & 0 & 0
\end{bmatrix}
$$
所以 $\gm(2) = 1$.

$A-3I$ 的 RREF 為
$$
\begin{bmatrix}
1 & 0 & 0 & -\frac{2}{15} & \frac{1}{3}\\
0 & 1 & 0 & -\frac{4}{15} & \frac{1}{3}\\
0 & 0 & 1 & -\frac{19}{30} & -\frac{1}{3}\\
0 & 0 & 0 & 0 & 0 \\
0 & 0 & 0 & 0 & 0
\end{bmatrix}
$$
所以 $\gm(3) = 2$.

:::success
:+1:
:::

##### Exercise 6

令 $A$ 為一 $n\times n$ 矩陣而 $\lambda$ 為其一特徵值。
依照以下步驟證明 $\gm(\lambda) \leq \am(\lambda)$。

##### Exercise 6(a)

令 $d = \gm(\lambda)$ 為 $\ker(A - \lambda I)$ 的維度。
找一組 $\ker(A - \lambda I)$ 的基底 $\alpha$，
並將其擴展為 $\mathbb{R}^n$ 的一組基底 $\beta$。
（所以 $\alpha\subseteq\beta$ 且 $|\alpha| = d$。）
說明 $[f_A]_\beta^\beta$ 會有以下型式
$$
\begin{bmatrix}
\lambda I_d & B \\
O_{n-d,d} & D
\end{bmatrix}.
$$
（這裡 $D$ 只是一個矩陣的符號，不一定是對角矩陣。）

:::warning

- [x] $\lambda_i$ --> $\lambda$
- [x] 說明 $Q, Q_1, Q_2$ 是什麼
- [x] 都沒用到 $\alpha$ 耶？條件沒用到但是證出來，不是題目錯就是證明有錯 :astonished:
- [ ] $k$ --> $d$
- [ ] 其中 $v_1,v_k$ 為 --> 其中 $\bv_1,\ldots, \bv_k$ 皆為
- [ ] 向量用粗體 $\bv$
- [ ] 取 $P=[ v_1, \cdots, v_k, v_{k+1}, \cdots, v_n ]=[UV]$ 為可逆矩陣，其中 $U=\alpha$, $V=\beta$。 --> 取 $P$ 為由 $\beta$ 元素當作行向量的矩陣、$U$ 為由 $\alpha$ 元素當作行向量的矩陣，則 $P$ 可寫為 $\begin{bmatrix} U & V \end{bmatrix}$.
- [ ] $\begin{bmatrix}
UV
\end{bmatrix}$ --> $\begin{bmatrix}
U & V
\end{bmatrix}$
- [ ] 整串的數學式可以用一整個 `$...$` 包起來就好，不用進進出出數學模式，像是
$$
\begin{aligned}
P^{-1}AP &= \begin{bmatrix}
X \\
Y
\end{bmatrix} A \begin{bmatrix}
U & V
\end{bmatrix} = \begin{bmatrix}
XAU & XAV \\
YAU & YAV
\end{bmatrix} \\
&= \begin{bmatrix}
\lambda XU & XAV \\
\lambda YU & XAV
\end{bmatrix} = \begin{bmatrix}
\lambda I_d & XAV \\
O & YAV
\end{bmatrix}.
\end{aligned}
$$
:::

**ANS1:**
令 $\alpha = \{ v_1, \cdots, v_k \}$，其中 $v_1,v_k$ 為 $A$ 相對於 $\lambda$ 的特徵向量。
則存在 $v_{k+1}, \cdots, v_n$ 使得 $\beta = \{ v_1, \cdots, v_k, v_{k+1}, \cdots, v_n \}$為 $\mathbb{R}^n$ 的一組基底。
取 $P=[ v_1, \cdots, v_k, v_{k+1}, \cdots, v_n ]=[UV]$ 為可逆矩陣，其中 $U=\alpha$, $V=\beta$。
\
令 $P^{-1} = \begin{bmatrix}
X \\
Y
\end{bmatrix}$，其中 $X$ 為 $d\times n$ 矩陣，$Y$ 為 $(n-d) \times n$矩陣。
\
則 $P^{-1}P=\begin{bmatrix}
X \\
Y
\end{bmatrix}$$\begin{bmatrix}
UV
\end{bmatrix}$$=\begin{bmatrix}
XU & XV \\
YU & YV
\end{bmatrix}=\begin{bmatrix}
I_d & O \\
O & I_{n-k}
\end{bmatrix}.$
\
由上式得到 $XU=I_d,XV=O,YU=O,YV=I_{n-d}$。
\
再細看可以得知$AU=A\{ v_1, \cdots, v_k \}=\{ Av_1, \cdots, Av_k \}=\{ \lambda v_1, \cdots, \lambda v_k \}=\lambda U$。
\
因此，$P^{-1}AP=\begin{bmatrix}
X \\
Y
\end{bmatrix}A$$\begin{bmatrix}
UV
\end{bmatrix}$$=\begin{bmatrix}
XAU & XAV \\
YAU & YAV
\end{bmatrix}=\begin{bmatrix}
\lambda XU & XAV \\
\lambda YU & XAV
\end{bmatrix}$=\begin{bmatrix}
\lambda I_d & XAV \\
O & YAV
\end{bmatrix}
\
其中$B,D$為任意矩陣，故得證。

**ANS2:**
令 $\alpha = \{ {\bf \alpha}_1, {\bf \alpha}_2, \cdots, {\bf \alpha}_d \}$，$\beta = \{ {\bf \alpha}_1, {\bf \alpha}_2, \cdots, {\bf \alpha}_d, {\bf \beta}_1, {\bf \beta}_2, \cdots, {\bf \beta}_{n-d} \}$，

$$
M =
\begin{bmatrix}
| & & | & | & & |\\
{\bf \alpha}_1 & \cdots & {\bf \alpha}_d & {\bf \beta}_1 & \cdots & {\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}.
$$

因為特徵向量 ${\bf \alpha}_i$， $i=1,2,\ldots,d$ 對應到特徵值 $\lambda$，且 $A{\bf \alpha}_i = \lambda {\bf \alpha}_i$，

$$
AM =
\begin{bmatrix}
| & & | & | & & |\\
\lambda{\bf \alpha}_1 & \cdots & \lambda{\bf \alpha}_d & A{\bf \beta}_1 & \cdots & A{\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}.
$$

觀察 $M^{-1}M = I_n$，可以知道 $M^{-1}{\bf \alpha}_i = (0,\cdots,0,1,0,\cdots,0)\trans$ 是第 $i$ 個位置是 $1$，其它為 $0$ 的向量.
那麼只關心前 $d$ 行的話

$$
\begin{aligned}
M^{-1}AM &= [f_A]_\beta^\beta\\
&=\begin{bmatrix}
| & & | & | & & |\\
M^{-1}\lambda{\bf \alpha}_1 & \cdots & M^{-1}\lambda{\bf \alpha}_d & M^{-1}A{\bf \beta}_1 & \cdots & M^{-1}A{\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}\\
&=\begin{bmatrix}
| & & | & | & & |\\
\lambda M^{-1}{\bf \alpha}_1 & \cdots & \lambda M^{-1}{\bf \alpha}_d & M^{-1}A{\bf \beta}_1 & \cdots & M^{-1}A{\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}\\
&=\begin{bmatrix}
\lambda I_d & B \\
O_{n-d,d} & D
\end{bmatrix}.
\end{aligned}
$$

其中 $B,D$ 是不重要的兩個矩陣.

:::success
寫得不錯，不過應該蠻好看出 $\lambda\alpha_i$ 的表示法就是一個全零的向量、並把第 $i$ 項改成 $\lambda$；當然用 $M^{-1}$ 也行。
:::

##### Exercise 6(b)

由於 $[f_A]_\beta^\beta$ 和 $A$ 有相同的特徵多項式。
說明 $p_A(x)$ 中有 $(\lambda - x)^d$ 這個因式，
因此 $\gm(\lambda) \leq \am(\lambda)$。

**Ans:**
由於 $[f_A]_\beta^\beta$ 和 $A$ 有相同的特徵多項式，所以
$$
\begin{aligned}
p_A(x) &= \det([f_A]_\beta^\beta - xI)\\ \\
&= \det(
\begin{bmatrix}
(\lambda - x)I_d & B\\
O_{n-d,d} & D'
\end{bmatrix}
)\\ \\
&= \det((\lambda-x)I_d) \det(D')\\ \\
&= (\lambda-x)^d \det(D').
\end{aligned}
$$
其中 $D'$ 是 $D$ 對角線上元素減 $x$.
可以知道 $\lambda$ 至少重根 $d$ 次，所以 $\am(\lambda) \geq d = \gm(\lambda)$.

##### Exercise 7

令 $A$ 為一矩陣而 $W$ 為一 $\mathbb{R}^n$ 的子空間。
如果
$$
f_A(W) = \{A\bw: \bw\in W\} \subseteq W,
$$
則我們稱 $W$ 是一個 **$A$-不變子空間（$A$-invariant subspace）**。

同樣地，令 $f:V\rightarrow V$ 為一個線性函數
而 $W$ 是 $V$ 的一個子空間。
如果
$$
f(W) = \{f(\bw): \bw\in W\} \subseteq W,
$$
則我們稱 $W$ 是一個 **$f$-不變子空間（$f$-invariant subspace）**。

##### Exercise 7(a)

令 $A$ 為一 $n\times n$ 矩陣而 $W$ 為一 $A$-不變子空間。
令 $\alpha$ 為 $W$ 的一組基底
並將基擴展為 $\mathbb{R}^n$ 的一組基底 $\beta$。
說明 $[f_A]_\beta^\beta$ 會有以下型式
$$
\begin{bmatrix}
C & B \\
O_{n-d,d} & D
\end{bmatrix}.
$$
（這裡 $D$ 只是一個矩陣的符號，不一定是對角矩陣。）

**Ans:**
令 $\alpha = \{ {\bf \alpha}_1, {\bf \alpha}_2, \cdots, {\bf \alpha}_d \}$，$\beta = \{ {\bf \alpha}_1, {\bf \alpha}_2, \cdots, {\bf \alpha}_d, {\bf \beta}_1, {\bf \beta}_2, \cdots, {\bf \beta}_{n-d} \}$，
$$
M =
\begin{bmatrix}
| & & | & | & & |\\
{\bf \alpha}_1 & \cdots & {\bf \alpha}_d & {\bf \beta}_1 & \cdots & {\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}.
$$
因為 $W$ 為一 $A$-不變子空間，所以 $A {\bf \alpha}_i \in W$，$i = 1,2,\ldots,d$，並且有唯一的表達式，$A {\bf \alpha}_i = c_{i,1}{\bf \alpha}_1 + c_{i,2}{\bf \alpha}_2 + \cdots + c_{i,d}{\bf \alpha}_d$.
$$
\begin{aligned}
M^{-1}A{\bf \alpha}_i &= c_{i,1}M^{-1}{\bf \alpha}_1 + c_{i,2}M^{-1}{\bf \alpha}_2 + \cdots + c_{i,d}M^{-1}{\bf \alpha}_d\\ \\
&=
\begin{pmatrix}
c_{i,1}\\c_{i,2}\\ \vdots\\ c_{i,d}\\0\\0\\ \vdots\\ 0
\end{pmatrix}.
\end{aligned}
$$
如果只關心前 $d$ 行的話，
$$
\begin{aligned}
M^{-1}AM &= [f_A]_\beta^\beta\\
&=\begin{bmatrix}
| & & | & | & & |\\
M^{-1}A{\bf \alpha}_1 & \cdots & M^{-1}A{\bf \alpha}_d & M^{-1}A{\bf \beta}_1 & \cdots & M^{-1}A{\bf \beta}_{n-d}\\
| & & | & | & & |
\end{bmatrix}\\
&=\begin{bmatrix}
c_{1,1} & c_{2,1} & \ldots & c_{d,1}\\
c_{1,2} & c_{2,2} & \ldots & c_{d,2}\\
\vdots & \vdots & & \vdots & & & B & & &\\
c_{1,d} & c_{2,d} & \ldots & c_{d,d}\\
0 & 0 & \ldots & 0\\
0 & 0 & \ldots & 0\\
\vdots & \vdots & & \vdots & & & D & & &\\
0 & 0 & \ldots & 0
\end{bmatrix}\\
&= \begin{bmatrix}
C & B\\
O_{n-d,d} & D
\end{bmatrix}.
\end{aligned}
$$

其中 $B,D$ 是兩個不重要的矩陣.

:::success
Nice~
:::

##### Exercise 7(b)

若 $A$ 為一矩陣，而 $\lambda$ 為其一特徵值。
說明 $\ker(A - \lambda I)$ 為一 $A$-不變子空間。

**Ans:**
對於所有的 $\bx \in \ker(A - \lambda I)$，都有 $(A - \lambda I) \bx = \bzero$，則可以有以下推論
$$
\begin{aligned}
&(A - \lambda I) \bx = \bzero\\
\implies & A\bx - \lambda \bx = \bzero\\
\implies & AA\bx - A\lambda \bx = A\bzero = \bzero\\
\implies & A(A\bx - \lambda \bx) = \bzero\\
\implies & AA\bx - A \lambda \bx = \bzero\\
\implies & AA\bx - \lambda A \bx = \bzero\\
\implies & (A - \lambda I)A\bx = \bzero\\
\implies & A\bx \in \ker(A-\lambda I).
\end{aligned}
$$

:::info
最後這題感覺有點繞路，不過證明沒問題。
:::

:::info
目前分數 = 6.5 &times; 檢討 = 6.5
:::