線形代数

tags: `probability-theory`

スカラー、ベクトル、行列

スカラー

x_{1}, x_{2}, \dots, x_{n}, \dots

列ベクトル

x = (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix})

行列

X = (\begin{array}{cccc} x_{11} & x_{12} & \dots & x_{1 p} \\ x_{21} & x_{22} & \dots & x_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n 1} & x_{n 2} & \dots & x_{n p} \end{array})

A = (\begin{array}{cccc} a_{11} & a_{12} & \dots & a_{1 p} \\ a_{21} & a_{22} & \dots & a_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{p 1} & a_{p 2} & \dots & a_{p p} \end{array})

転置

列ベクトルを転置すると行ベクトルになる。

x^{⊤} = (\begin{array}{cccc} x_{1} & x_{2} & \dots & x_{p} \end{array})

行列を転置すると、要素の添え字が逆になる。

X^{⊤} = (\begin{array}{cccc} x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 p} & x_{2 p} & \dots & x_{n p} \end{array})

A^{⊤} = (\begin{array}{cccc} a_{11} & a_{21} & \dots & a_{p 1} \\ a_{12} & a_{22} & \dots & a_{p 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{1 p} & a_{2 p} & \dots & a_{p p} \end{array})

転置は2回繰り返すと、元に戻る。

{(x^{⊤})}^{⊤} = x, {(X^{⊤})}^{⊤} = X, {(A^{⊤})}^{⊤} = A

加法と減法

ベクトル同士や行列同士の加減算は、形状が同じもの同士の加減算がすべての要素同士の加減算として定義される。

x + y = (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}) + (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{p} \end{matrix}) = (\begin{matrix} x_{1} + y_{1} \\ x_{2} + y_{2} \\ ⋮ \\ x_{p} + y_{p} \end{matrix})

x - y = (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}) - (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{p} \end{matrix}) = (\begin{matrix} x_{1} - y_{1} \\ x_{2} - y_{2} \\ ⋮ \\ x_{p} - y_{p} \end{matrix})

スカラー積

ベクトルとスカラーの積は、ベクトルのすべての要素に同じスカラーを掛ける乗算として定義される。

a x = a (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}) = (\begin{matrix} a x_{1} \\ a x_{2} \\ ⋮ \\ a x_{p} \end{matrix})

行列とスカラーの積も同様である。

a X = a (\begin{array}{cccc} x_{11} & x_{12} & \dots & x_{1 p} \\ x_{21} & x_{22} & \dots & x_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n 1} & x_{n 2} & \dots & x_{n p} \end{array}) = (\begin{array}{cccc} a x_{11} & a x_{12} & \dots & a x_{1 p} \\ a x_{21} & a x_{22} & \dots & a x_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a x_{n 1} & a x_{n 2} & \dots & a x_{n p} \end{array})

ベクトルの内積

ベクトルの内積は、要素同士の積和として定義される。

⟨ x, y ⟩ = ⟨ (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}), (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{p} \end{matrix}) ⟩ = x_{1} y_{1} + x_{2} y_{2} + \dots x_{p} y_{p}

行列積

ベクトルや行列の積は、左の行と右の列同士の内積を要素とする配列と定義される。

\begin{aligned} A B & = (\begin{array}{cccc} a_{11} & a_{12} & \dots & a_{1 q} \\ a_{21} & a_{22} & \dots & a_{2 q} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{p 1} & a_{p 2} & \dots & a_{p q} \end{array}) (\begin{array}{cccc} b_{11} & b_{12} & \dots & b_{1 r} \\ b_{21} & b_{22} & \dots & b_{2 r} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ b_{q 1} & b_{q 2} & \dots & b_{q r} \end{array}) \\ = (\begin{array}{cccc} \sum_{k} a_{1 k} b_{k 1} & \sum_{k} a_{1 k} b_{k 2} & \dots & \sum_{k} a_{1 k} b_{k r} \\ \sum_{k} a_{2 k} b_{k 1} & \sum_{k} a_{2 k} b_{k 2} & \dots & \sum_{k} a_{2 k} b_{k r} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \sum_{k} a_{p k} b_{k 1} & \sum_{k} a_{p k} b_{k 2} & \dots & \sum_{k} a_{p k} b_{k r} \end{array}) \end{aligned}

q = 1

の特殊な場合が、ベクトル同士の内積である。

⟨ x, y ⟩ = x^{⊤} y

この行列積は大きさが

1 \times 1

の行列となる。これをスカラーと同一視する。

総和

1_{p}

を大きさが

p

の列ベクトルとする。

1_{p} = (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix})

ある

p

次元ベクトル

x

のすべての要素の和は、上のベクトルと

x

との内積に等しい。

\sum_{j = 1}^{p} x_{j} = (\begin{array}{cccc} 1 & 1 & \dots & 1 \end{array}) (\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{p} \end{matrix}) = {1_{p}}^{⊤} x

同様に大きさが

p \times q

の行列

A

のすべての要素の総和は

\begin{aligned} \sum_{i = 1}^{p} \sum_{j = 1}^{q} a_{i j} & = \sum_{j = 1}^{q} (\sum_{i = 1}^{p} a_{i j}) \\ = (\begin{array}{cccc} \sum_{i = 1}^{p} a_{i 1} & \sum_{i = 1}^{p} a_{i 2} & \dots & \sum_{i = 1}^{p} a_{i q} \end{array}) (\begin{array}{c} 1 \\ 1 \\ ⋮ \\ 1 \end{array}) \\ = (\begin{array}{cccc} 1 & 1 & \dots & 1 \end{array}) (\begin{array}{cccc} a_{11} & a_{12} & \dots & a_{1 q} \\ a_{21} & a_{22} & \dots & a_{2 q} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{p 1} & a_{p 2} & \dots & a_{p q} \end{array}) (\begin{array}{c} 1 \\ 1 \\ ⋮ \\ 1 \end{array}) \\ = {1_{p}}^{⊤} A 1_{q} \end{aligned}

となる。

正方行列

行数と列数が同じ行列を正方行列という。

A = (\begin{array}{cccc} a_{11} & a_{12} & \dots & a_{1 p} \\ a_{21} & a_{22} & \dots & a_{2 p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{p 1} & a_{p 2} & \dots & a_{p p} \end{array})

逆行列

ある正方行列

A

に対して

A B = I

を満たす行列

B

が存在するとき、これを

A^{- 1}

と記し、

A

の逆行列という。

固有値と固有ベクトル

ある正方行列

A

に対して、ベクトル

x

とスカラー

λ

が存在して

A x = λ x

を満たすとき、

λ

を

A

の固有値、

x

を

A

の固有ベクトルという。

あるベクトル

x

が正方行列

A

の固有値であるとき、非ゼロのスカラー

a \neq 0

によるその任意のスカラー倍

a x

もまた

A

の固有ベクトルとなる。

A x = λ x \Rightarrow \forall a \neq 0, a \in R, A (a x) = a A x = a λ x = λ (a x)

そこで、固有ベクトルに長さが

1

であるとの条件を課すのが通例である。

| x | = x^{⊤} x = \sum_{j = 1}^{p} x_{j}^{2} = 1

射影

正規直交射影

行列式

正方行列の行列式

| A |

は、その正方行列の大きさを表す。

余因子展開。

2次形式

x^{⊤} A x

2次関数

f (x) = x^{⊤} A x + b^{⊤} x + c