# 線性代數核心概念精要

## 摘要

本講義旨在提供線性代數中幾個核心概念的數學化整理與應用，包括向量空間的結構、線性變換、正交性、行列式、特徵值與特徵向量，以及這些概念在微分方程和傅立葉級數中的應用。

---

## 第一章：向量空間與其基本結構

### 1.1 向量空間 (Vector Space)

一個向量空間 $V$ 是一個非空集合，其上的元素稱為**向量**。該集合定義了兩種運算：向量加法 ($\mathbf{u} + \mathbf{v}$) 和純量乘法 ($c\mathbf{u}$)，對於任意 $\mathbf{u}, \mathbf{v}, \mathbf{w} \in V$ 和純量 $c, d \in \mathbb{F}$ (通常為 $\mathbb{R}$ 或 $\mathbb{C}$)，滿足八個公理。

### 1.2 子空間 (Subspace)

向量空間 $V$ 的一個非空子集 $W$ 稱為 $V$ 的一個**子空間**，如果 $W$ 本身在 $V$ 的加法和純量乘法下也是一個向量空間。判斷一個非空子集 $W$ 是否為子空間的簡便條件是：

1. **閉合於加法**：若 $\mathbf{u}, \mathbf{v} \in W$，則 $\mathbf{u} + \mathbf{v} \in W$。
2. **閉合於純量乘法**：若 $\mathbf{u} \in W$ 且 $c \in \mathbb{F}$，則 $c\mathbf{u} \in W$。

### 1.3 線性組合與張成空間 (Linear Combination and Span)

給定向量 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ 在向量空間 $V$ 中，形如 $c_1\mathbf{v}_1 + \dots + c_k\mathbf{v}_k$ 的向量稱為這些向量的**線性組合**，其中 $c_i \in \mathbb{F}$ 為純量。

所有這些向量線性組合的集合稱為這些向量的**張成空間**，記作 $\text{Span}\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$。張成空間是一個子空間。

### 1.4 線性獨立與相關 (Linear Independence and Dependence)

向量集合 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ 稱為**線性獨立**，如果方程 $c_1\mathbf{v}_1 + \dots + c_k\mathbf{v}_k = \mathbf{0}$ 只有平凡解（即 $c_1 = \dots = c_k = 0$）。

如果存在至少一個非零的解，則向量集合稱為**線性相關**。

**判斷方法**：將向量組成的矩陣 $A = [\mathbf{v}_1 \dots \mathbf{v}_k]$ 化為行最簡梯形形式 (RREF)。若 RREF 的每一列都有主元 (pivot)，則向量組線性獨立；若存在無主元的列，則線性相關。

### 1.5 基底與維度 (Basis and Dimension)

向量空間 $V$ 的一個子集 $B = \{\mathbf{b}_1, \dots, \mathbf{b}_n\}$ 稱為 $V$ 的一個**基底**，如果：

1. $B$ 是線性獨立的。
2. $\text{Span}(B) = V$。

向量空間 $V$ 的**維度** $\text{dim}(V)$ 是其任何基底中向量的數量。

**尋找基底**：對於由一組向量 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ 張成的子空間 $W$，將這些向量作為列向量構成矩陣 $A$。將 $A$ 化為 RREF 後，RREF 中主元所在列對應的原始向量 $\{\mathbf{v}_j\}$ 構成了 $W$ 的一組基底。

---

## 第二章：線性變換與矩陣

### 2.1 線性變換 (Linear Transformation)

一個函數 $T: V \to W$ (其中 $V$ 和 $W$ 為向量空間) 稱為**線性變換**，如果對於所有 $\mathbf{u}, \mathbf{v} \in V$ 和純量 $c \in \mathbb{F}$，滿足：

1. **加法可分配性**：$T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})$
2. **純量乘法與變換可交換性**：$T(c\mathbf{u}) = cT(\mathbf{u})$

### 2.2 標準矩陣表示 (Standard Matrix Representation)

若 $T: \mathbb{R}^n \to \mathbb{R}^m$ 是一個線性變換，則存在唯一的 $m \times n$ 矩陣 $A$ 使得 $T(\mathbf{x}) = A\mathbf{x}$ 對於所有 $\mathbf{x} \in \mathbb{R}^n$ 成立。這個矩陣 $A$ 稱為 $T$ 的**標準矩陣**，其列向量由 $T$ 作用於 $\mathbb{R}^n$ 的標準基底向量 $E = \{\mathbf{e}_1, \dots, \mathbf{e}_n\}$ 的結果構成：

$$A = [T(\mathbf{e}_1) \quad T(\mathbf{e}_2) \quad \dots \quad T(\mathbf{e}_n)]$$

### 2.3 核與像 (Kernel and Image/Range)

對於線性變換 $T: V \to W$：

**核 (Kernel)**：$T$ 的核是 $V$ 中所有被 $T$ 映射到 $W$ 中零向量的向量集合，記作 $\text{Ker}(T)$。

$$\text{Ker}(T) = \{\mathbf{v} \in V \mid T(\mathbf{v}) = \mathbf{0}_W\}$$

$\text{Ker}(T)$ 是 $V$ 的一個子空間。

**像 (Image / Range)**：$T$ 的像 (或值域) 是 $W$ 中所有由 $V$ 中的向量經 $T$ 映射而成的向量集合，記作 $\text{Im}(T)$ 或 $\text{Range}(T)$。

$$\text{Im}(T) = \{T(\mathbf{v}) \mid \mathbf{v} \in V\}$$

$\text{Im}(T)$ 是 $W$ 的一個子空間。

如果 $T$ 由矩陣 $A$ 表示，則 $\text{Ker}(T)$ 是齊次方程 $A\mathbf{x} = \mathbf{0}$ 的解空間 (也稱為 $A$ 的零空間 $\text{Null}(A)$)，而 $\text{Im}(T)$ 是 $A$ 的列空間 $\text{Col}(A)$。

### 2.4 秩—零化度定理 (Rank-Nullity Theorem)

對於一個線性變換 $T: V \to W$，如果 $V$ 是有限維向量空間，則：

$$\text{dim}(V) = \text{dim}(\text{Ker}(T)) + \text{dim}(\text{Im}(T))$$

如果 $T$ 由 $m \times n$ 矩陣 $A$ 表示，則：

$$n = \text{nullity}(A) + \text{rank}(A)$$

其中 $\text{nullity}(A) = \text{dim}(\text{Ker}(T))$ 且 $\text{rank}(A) = \text{dim}(\text{Im}(T))$。

### 2.5 一對一變換 (One-to-One Transformation)

線性變換 $T: V \to W$ 稱為**一對一 (injective)**，如果對於 $V$ 中的任何 $\mathbf{u}, \mathbf{v}$，若 $T(\mathbf{u}) = T(\mathbf{v})$ 則必有 $\mathbf{u} = \mathbf{v}$。

**判斷準則**：線性變換 $T$ 是一對一的，若且唯若 $\text{Ker}(T) = \{\mathbf{0}\}$ (即 $\text{nullity}(A) = 0$)。

---

## 第三章：線性方程組

### 3.1 矩陣形式 (Matrix Form)

一個具有 $m$ 個方程和 $n$ 個未知數的線性方程組可以寫成矩陣形式 $A\mathbf{x} = \mathbf{b}$，其中 $A$ 是 $m \times n$ 係數矩陣，$\mathbf{x}$ 是 $n \times 1$ 未知數向量，$\mathbf{b}$ 是 $m \times 1$ 常數向量。

### 3.2 解的存在性與唯一性 (Existence and Uniqueness of Solutions)

將增廣矩陣 $[A | \mathbf{b}]$ 化為行最簡梯形形式 (RREF) 後：

#### 解的存在性：

- 方程組有解 (consistent) 若且唯若 $\text{rank}(A) = \text{rank}([A | \mathbf{b}])$。
- 若 $\text{rank}(A) < \text{rank}([A | \mathbf{b}])$ (即 RREF 中出現形如 $[0 \ \dots \ 0 \ | \ k]$ 且 $k \neq 0$ 的行)，則方程組無解 (inconsistent)。

#### 解的唯一性（假設方程組有解）：

- 若 $\text{rank}(A) = n$ (未知數數量)，則方程組有**唯一解** (沒有自由變數)。
- 若 $\text{rank}(A) < n$，則方程組有**無限多組解** (存在自由變數)。

### 3.3 行最簡梯形形式 (RREF) 與通解 (General Solution)

透過將增廣矩陣化為 RREF，可以找出基本變數 (basic variables) 和自由變數 (free variables)。

- **基本變數**：RREF 中主元所在列對應的變數。
- **自由變數**：RREF 中沒有主元所在列對應的變數。

將自由變數設定為參數 (例如 $t, s, \dots$)，然後用這些參數表示基本變數，即可得到方程組的**通解**。通解通常以**參數向量形式**表示，它揭示了齊次解空間 (核空間) 和特定解之間的關係。

---

## 第四章：內積空間與正交性

### 4.1 內積空間 (Inner Product Space)

一個實向量空間 $V$ 是一個**內積空間**，如果對於 $V$ 中的任意 $\mathbf{u}, \mathbf{v}$，都定義了一個內積 $\langle \mathbf{u}, \mathbf{v} \rangle \in \mathbb{R}$，滿足以下公理：

1. $\langle \mathbf{u}, \mathbf{v} \rangle = \langle \mathbf{v}, \mathbf{u} \rangle$ (對稱性)
2. $\langle \mathbf{u} + \mathbf{v}, \mathbf{w} \rangle = \langle \mathbf{u}, \mathbf{w} \rangle + \langle \mathbf{v}, \mathbf{w} \rangle$ (加性)
3. $\langle c\mathbf{u}, \mathbf{v} \rangle = c\langle \mathbf{u}, \mathbf{v} \rangle$ (齊次性)
4. $\langle \mathbf{u}, \mathbf{u} \rangle \ge 0$，且 $\langle \mathbf{u}, \mathbf{u} \rangle = 0$ 若且唯若 $\mathbf{u} = \mathbf{0}$ (正定性)

向量的**範數 (norm)** 由內積定義為 $||\mathbf{u}|| = \sqrt{\langle \mathbf{u}, \mathbf{u} \rangle}$。

### 4.2 正交向量與正交集 (Orthogonal Vectors and Orthogonal Sets)

如果 $\langle \mathbf{u}, \mathbf{v} \rangle = 0$，則向量 $\mathbf{u}$ 和 $\mathbf{v}$ 稱為**正交的 (orthogonal)**。

一個向量集合 $\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$ 稱為**正交集**，如果其中任意兩個不同的向量都是正交的 (即 $\langle \mathbf{u}_i, \mathbf{u}_j \rangle = 0$ 對於 $i \neq j$)。

### 4.3 正交基底與標準正交基底 (Orthogonal and Orthonormal Bases)

- **正交基底**：是一個正交集且同時是該向量空間的基底。
- **標準正交基底 (Orthonormal Basis)**：是一個正交基底，且其中每個向量的範數都為 1 (即 $||\mathbf{u}_i|| = 1$ 對於所有 $i$)。

### 4.4 Gram-Schmidt 正交化過程 (Gram-Schmidt Orthogonalization Process)

Gram-Schmidt 過程能將一個線性獨立的向量集合 $\{\mathbf{v}_1, \dots, \mathbf{v}_k\}$ 轉換為一個正交集 $\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$，滿足 $\text{Span}\{\mathbf{u}_1, \dots, \mathbf{u}_j\} = \text{Span}\{\mathbf{v}_1, \dots, \mathbf{v}_j\}$ 對於所有 $j=1, \dots, k$。

**算法**：

1. $\mathbf{u}_1 = \mathbf{v}_1$
2. 對於 $j = 2, \dots, k$：
$$\mathbf{u}_j = \mathbf{v}_j - \sum_{i=1}^{j-1} \frac{\langle \mathbf{v}_j, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i$$

若需標準正交基底，最後將每個 $\mathbf{u}_j$ 單位化：$\mathbf{e}_j = \frac{\mathbf{u}_j}{||\mathbf{u}_j||}$。

### 4.5 正交投影 (Orthogonal Projection)

若 $W$ 是內積空間 $V$ 的子空間，且 $\{\mathbf{u}_1, \dots, \mathbf{u}_k\}$ 是 $W$ 的一個正交基底，則向量 $\mathbf{v} \in V$ 在 $W$ 上的**正交投影**記作 $\text{proj}_W \mathbf{v}$，其公式為：

$$\text{proj}_W \mathbf{v} = \sum_{i=1}^{k} \frac{\langle \mathbf{v}, \mathbf{u}_i \rangle}{\langle \mathbf{u}_i, \mathbf{u}_i \rangle} \mathbf{u}_i$$

### 4.6 正交補空間 (Orthogonal Complement)

向量空間 $V$ 的子空間 $W$ 的**正交補空間**，記作 $W^\perp$，定義為 $V$ 中所有與 $W$ 中每個向量都正交的向量所組成的集合：

$$W^\perp = \{\mathbf{z} \in V \mid \langle \mathbf{z}, \mathbf{w} \rangle = 0 \text{ for all } \mathbf{w} \in W\}$$

**性質**：

- $W^\perp$ 也是 $V$ 的一個子空間。
- 對於有限維內積空間 $V$，$\text{dim}(W) + \text{dim}(W^\perp) = \text{dim}(V)$。
- 任何向量 $\mathbf{v} \in V$ 都可以唯一地分解為 $\mathbf{v} = \mathbf{w} + \mathbf{z}$，其中 $\mathbf{w} \in W$ 且 $\mathbf{z} \in W^\perp$。這裡 $\mathbf{w} = \text{proj}_W \mathbf{v}$ 而 $\mathbf{z} = \mathbf{v} - \text{proj}_W \mathbf{v}$。

### 4.7 點到子空間的距離 (Distance from a Point to a Subspace)

點 $\mathbf{x} \in \mathbb{R}^n$ 到子空間 $W \subseteq \mathbb{R}^n$ 的距離定義為 $d(\mathbf{x}, W) = \min_{\mathbf{w} \in W} ||\mathbf{x} - \mathbf{w}||$。

這個最短距離發生在 $\mathbf{w} = \text{proj}_W \mathbf{x}$ 時。因此，距離為 $|| \mathbf{x} - \text{proj}_W \mathbf{x} || = || \mathbf{z} ||$，其中 $\mathbf{z}$ 是 $\mathbf{x}$ 在 $W^\perp$ 上的分量。

---

## 第五章：行列式 (Determinants)

### 5.1 定義

對於一個 $n \times n$ 方陣 $A$，其**行列式** $\text{det}(A)$ 是一個純量值。對於 $n \ge 2$，行列式可以透過**餘因子展開 (Cofactor Expansion)** 定義。

- $2 \times 2$ 矩陣 $A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$，$\text{det}(A) = ad - bc$。
- $3 \times 3$ 或更大矩陣，可沿任意行 $i$ 或列 $j$ 展開：
$$\text{det}(A) = \sum_{j=1}^{n} (-1)^{i+j} a_{ij} \text{det}(A_{ij}) \quad (\text{沿行 } i \text{ 展開})$$
$$\text{det}(A) = \sum_{i=1}^{n} (-1)^{i+j} a_{ij} \text{det}(A_{ij}) \quad (\text{沿列 } j \text{ 展開})$$

其中 $A_{ij}$ 是 $A$ 刪除第 $i$ 行和第 $j$ 列後得到的子矩陣。

### 5.2 性質

1. **行/列交換**：交換矩陣任意兩行（或兩列）會使行列式變號。
2. **純量乘法**：將某行（或某列）乘以純量 $c$，行列式值也乘以 $c$。
3. **行/列倍加**：將某行（或某列）的倍數加到另一行（或另一列），行列式值不變。
4. **轉置不變**：$\text{det}(A^T) = \text{det}(A)$。
5. **三角矩陣**：對於三角矩陣（上三角、下三角或對角矩陣），其行列式等於主對角線上元素的乘積。
6. **乘法法則**：$\text{det}(AB) = \text{det}(A)\text{det}(B)$。

### 5.3 可逆性判斷 (Invertibility Criterion)

方陣 $A$ 是**可逆的 (invertible)** (即存在 $A^{-1}$)，當且僅當 $\text{det}(A) \neq 0$。

### 5.4 線性方程組的唯一解判斷

對於一個 $n \times n$ 方陣 $A$ 和向量 $\mathbf{b}$，線性方程組 $A\mathbf{x} = \mathbf{b}$ 有**唯一解**，若且唯若 $\text{det}(A) \neq 0$。

---

## 第六章：特徵值與特徵向量 (Eigenvalues and Eigenvectors)

### 6.1 定義

對於一個 $n \times n$ 方陣 $A$：

- **特徵向量 (Eigenvector)**：非零向量 $\mathbf{x} \in \mathbb{R}^n$ 稱為 $A$ 的一個特徵向量，如果存在純量 $\lambda$ 使得 $A\mathbf{x} = \lambda\mathbf{x}$。
- **特徵值 (Eigenvalue)**：對應於特徵向量 $\mathbf{x}$ 的純量 $\lambda$ 稱為 $A$ 的一個特徵值。

### 6.2 特性方程 (Characteristic Equation)

特徵值 $\lambda$ 滿足特性方程 $\text{det}(A - \lambda I) = 0$，其中 $I$ 是 $n \times n$ 單位矩陣。

### 6.3 特徵空間 (Eigenspaces)

對於 $A$ 的每個特徵值 $\lambda$，其對應的**特徵空間** $E_\lambda$ 是所有滿足 $(A - \lambda I)\mathbf{x} = \mathbf{0}$ 的向量 $\mathbf{x}$ 的集合。

$$E_\lambda = \text{Null}(A - \lambda I)$$

特徵空間是一個子空間。特徵空間的基底由解齊次方程組 $(A - \lambda I)\mathbf{x} = \mathbf{0}$ 而得到。

---

## 第七章：線性代數在其他數學領域的應用 (概念連結)

### 7.1 微分方程的解空間 (Solution Spaces of Differential Equations)

**概念連結**：許多線性齊次常微分方程 (Linear Homogeneous Ordinary Differential Equations) 的解集可以被視為一個向量空間。

**核心思想**：

1. **函數作為向量**：將微分方程的解函數 $y(x)$ 視為向量空間中的元素。
2. **微分運算作為線性變換**：微分運算 $L(y) = y'' + y$ (例如) 是線性的，滿足 $L(y_1+y_2) = L(y_1)+L(y_2)$ 和 $L(cy) = cL(y)$。
3. **解空間作為核**：齊次微分方程 $L(y) = 0$ 的所有解構成線性變換 $L$ 的核空間 $\text{Ker}(L)$。
4. **基底和維度**：像有限維向量空間一樣，這些解空間也有確定的維度，可以由一組線性獨立的「基本解」（基底）線性組合而成。例如，$y''+y=0$ 的解空間基底為 $\{\cos(x), \sin(x)\}$，維度為 2。

**應用價值**：提供了系統性的方法來理解和描述微分方程的所有可能解。

### 7.2 傅立葉級數 (Fourier Series)

**概念連結**：傅立葉級數將函數空間視為內積空間，利用正交基底的概念來表示函數。

**核心思想**：

1. **函數空間作為內積空間**：在特定區間（如 $[-\pi, \pi]$）上的平方可積函數集，可以定義一個內積 $\langle f, g \rangle = \int_{-\pi}^{\pi} f(x)g(x) dx$。這使得我們可以定義函數的「長度」和「正交性」。

2. **正交函數族作為基底**：三角函數族 $\{1, \cos(nx), \sin(nx) \mid n=1, 2, \dots\}$ 在此內積下是正交的，形成了一個無限維的正交基底。

3. **傅立葉係數作為投影分量**：傅立葉級數展開式 $f(x) = a_0 + \sum_{n=1}^{\infty} (a_n \cos(nx) + b_n \sin(nx))$ 中的係數 $a_0, a_n, b_n$ 本質上是將函數 $f(x)$ 投影到這些正交基底函數上的正交投影分量。它們的計算公式 (如 $a_n = \frac{1}{\pi} \int_{-\pi}^{\pi} f(x)\cos(nx) dx$) 正是基於內積和正交性的投影公式。

**應用價值**：將複雜函數分解為簡單、互相正交的成分，這在信號處理、圖像分析、物理學等領域有廣泛應用。

---

## 結語

線性代數作為現代數學的重要分支，其概念和方法不僅在純數學研究中具有重要地位，更在工程、物理、經濟、計算機科學等諸多領域有著廣泛應用。本講義希望能夠幫助讀者建立對線性代數核心概念的深入理解，為進一步的學習和應用奠定堅實基礎。