# 實用數學的直觀證明 Intuitive Proofs of Tools
- 每次用到這些公式，都TM忘記原因，重查、重想證明好幾次了，真受夠了！
- 所以整理一下我所知道最直觀、好懂(、可能不嚴謹)的證明
[TOC]

## 畢氏定理 Pythagorean theorem
$$a^2 + b^2 = c^2$$
- 證明來源: http://pisa.math.ntnu.edu.tw/attachments/article/1852/Bog016.pdf
- 真。來源: [達文西](https://zh.wikipedia.org/zh-tw/%E5%88%97%E5%A5%A5%E7%BA%B3%E5%A4%9A%C2%B7%E8%BE%BE%C2%B7%E8%8A%AC%E5%A5%87)
1. 上下兩個四邊形全等
2. 左右兩個四邊形也全等，與 1. 的四邊形都全等
3. 阿呀證完了: $a^2 + b^2 = c^2$
4. 有 $a^2 + b^2 = c^2$ 推廣到 >= 3維就很容易，寫出來就知道了~

不過，用**餘弦定理** reduce to 畢氏定理感覺更棒！
## 餘弦定理 Law of Cosines
$$|\vec{a} - \vec{b}|^2 = |\vec{a}|^2 +|\vec{b}|^2 - 2|\vec{a}||\vec{b}|\cos\theta$$
- 證明來源: https://ejournal.stpi.narl.org.tw/sd/download?source=10003/10003-02.pdf&vlId=1887CAAA-10BF-471D-9A25-14B30EC429BB&nd=0&ds=0
- 真、來源: [歐幾里德](https://zh.wikipedia.org/zh-tw/%E6%AC%A7%E5%87%A0%E9%87%8C%E5%BE%97)[《幾何原本》](https://zh.wikipedia.org/wiki/%E5%87%A0%E4%BD%95%E5%8E%9F%E6%9C%AC)
1. 塗色面積相等喔 i.e. $DBFE = BGHI$, 右邊實灰色面積也相等
- 不太明顯? 注意 **全等三角形**($ABG$, $DBC$) $\Rightarrow$ **等底同高**的四邊形三角形 pair
- 等底同高，所以 $DBC$ 面積 = $DBFE$ 面積 $* \frac{1}{2}$
2. 注意到 $ab\cos\theta$ 在哪裡:
- $c^2$ 比 $a^2 +b^2$ **少**的面積(左右空白部分相加)，就是 $2 * ab\cos\theta$
3. 所以 $c^2 = a^2 + b^2 - 2ab\cos\theta$ 得證
- $a, b, c$ 為三角形邊的"長度"
4. 兩個向量能決定一個 2D 平面，**所以在 $\vec{a}$ 與 $\vec{b}$ 決定的平面進行 1. - 3.，就能以 $|\vec{a}|, |\vec{b}|, |\vec{a} - \vec{b}|$ 作為三角形邊的"長度"**，在空間中證出: $$|\vec{a} - \vec{b}|^2 = |\vec{a}|^2 +|\vec{b}|^2 - 2|\vec{a}||\vec{b}|\cos\theta$$
5. 那 $\theta > 90^\circ$ 怎麼辦?

- 斜線部分，$c^2$ 比 $a^2 + b^2$ **多**的面積，也是 $2 *|ab\cos\theta|$
- 因 $\theta > 90^\circ$，$b\cos\theta$ (或$a\cos\theta$) $<0$ (來自 $\cos\theta$ 定義)
- 所以 $-2ab\cos\theta > 0$，可以把公式解讀成: $$c^2=a^2+b^2+(-2ab\cos\theta)$$
把 $a^2+b^2$ 不足 $c^2$ 的面積加上去~
## 點積 Dot Product
$$\vec{a} \cdot \vec{b} = |\vec{a}||\vec{b}| \cos\theta = a_0b_0+a_1b_1+a_2b_2$$
- 證明來源: https://bridge.math.oregonstate.edu/papers/dot+cross.pdf
0. 目標: **證明** $|\vec{a}||\vec{b}| \cos\theta = a_0b_0+a_1b_1+a_2b_2$
- 先**定義** $\vec{a} \cdot \vec{b} = |\vec{a}||\vec{b}| \cos\theta$，字才可以寫少一點
1. $|\vec{a}||\vec{b}| \cos\theta$ 本質是 $|\vec{a}| * |\vec{b}$ 在 $\vec{a}$ 的 projection$|$
- 可描述 "與 $\vec{a}$ 平行的 $\vec{b}$ 的量"
2. $|\vec{w}| * |\vec{u}+\vec{v}$ 在 $\vec{w}$ 的 projection$|$
$= |\vec{w}| * |\vec{u}$ 在 $\vec{w}$ 的 projection$|$ $+$ $|\vec{w}| * |\vec{v}$ 在 $\vec{w}$ 的 projection$|$
- 帶入定義: $$\vec{w} \cdot (\vec{u}+\vec{v}) =\vec{w} \cdot \vec{u} + \vec{w} \cdot \vec{v}$$
- 粉色向量是 $\vec{u}+\vec{v}$，此圖證明 **dot product 有分配律**
3. 向量能拆成單位向量組合:
$$
\begin{flalign}
& \vec{a}=a_0\hat{x}+a_1\hat{y}+a_2\hat{z} \\
& \vec{b}=b_0\hat{x}+b_1\hat{y}+b_2\hat{z}
\end{flalign}
$$
- 其中單位向量:
$$
\begin{flalign}
& \hat{x}=(1,0,0) \\
& \hat{y}=(0,1,0) \\
& \hat{z}=(0,0,1) \\
\end{flalign}
$$
- 因為 $\hat{x}$, $\hat{y}$, $\hat{z}$ 互相垂直，所以互相 project 的結果都會是 $\vec{0}$
- dot product 就必 $=0$
4. 最後推導: (請記得 $\vec{a} \cdot \vec{b} =|\vec{a}| * |\vec{b}$ 在 $\vec{a}$ 的 projection$|$)
$$
\begin{flalign}
& \vec{a} \cdot \vec{b} \\
& = (a_0\hat{x}+a_1\hat{y}+a_2\hat{z}) \cdot (b_0\hat{x}+b_1\hat{y}+b_2\hat{z})\\
& = a_0\hat{x} \cdot (b_0\hat{x}+b_1\hat{y}+b_2\hat{z}) + a_1\hat{y} \cdot (b_0\hat{x}+b_1\hat{y}+b_2\hat{z})+a_2\hat{z} \cdot (b_0\hat{x}+b_1\hat{y}+b_2\hat{z})\\
& = a_0b_0\hat{x} \cdot \hat{x} +a_1b_1\hat{y} \cdot \hat{y}+a_2b_2\hat{z} \cdot \hat{z}\\
& = a_0b_0*1+a_1b_1*1+a_2b_2*1\\
& = a_0b_0+a_1b_1+a_2b_2\\
\end{flalign}
$$
- 附圖，幫助思考:

- **直觀上:** 因為 projection 有分配律，我們能把 $\vec{a}$ 拆成 $a_0\hat{x}$, $a_1\hat{y}$, $a_2\hat{z}$ 個別與 $\vec{b}$ 做 projection, 相乘後再相加，但 $\vec{b}$ 也能拆成 $b_0\hat{x}$, $b_1\hat{y}$, $b_2\hat{z}$，所以 $a_0\hat{x}$ 只與 $b_0\hat{x}$ 有效，同理 $\hat{y}$, $\hat{z}$，再加上單位向量長度是$1$，自己乘自己(無須 project)也是$1$，因此只剩 $a_0b_0+a_1b_1+a_2b_2$
- 因此 dot product 變成 **"過濾到剩 x, y, z 座標相乘"** 的運算

5. $\vec{a} \cdot \vec{b} = |\vec{a}||\vec{b}| \cos\theta = a_0b_0+a_1b_1+a_2b_2$ 得證

## 叉積值 Cross Product Value
https://hackmd.io/@Zij-J/rycK3yWVZg

## 行列式是面積 Determint is Area
跟 Cross Product 概念一樣: https://hackmd.io/@Zij-J/rycK3yWVZg

## sin cos 角度加法 Angle Addition for Sine and Cosine
$$
\begin{flalign}
& \sin(\alpha+\beta) = \sin\alpha\cos\beta+\cos\alpha\sin\beta \\
& \cos(\alpha+\beta) = \cos\alpha\cos\beta-\sin\alpha\sin\beta \\
\end{flalign}
$$
- 證明來源: https://math.stackexchange.com/questions/402487/intuition-of-addition-formula-for-sine-and-cosine
- 圖解即可:
- 減法，除了**用三角函數負號的定義推導(+負的角度)**，也能**圖解**，用好理解的理解即可:
$$
\begin{flalign}
& \sin(\alpha-\beta) = \sin\alpha\cos\beta-\cos\alpha\sin\beta \\
& \cos(\alpha-\beta) = \cos\alpha\cos\beta+\sin\alpha\sin\beta \\
\end{flalign}
$$

## 四元數 Quaternions
點 $(a,b,c)$ 在指定 $(x,y,z)$ 軸依右手定則轉 $\theta$ 角，變成 $(a',b',c')$:
$$
a'i+b'j+c'k = (\cos\frac{\theta}{2} +\sin\frac{\theta}{2}(xi+yj+zk)) \cdot (ai+bj+ck) \cdot (\cos\frac{\theta}{2} +\sin\frac{\theta}{2}(-xi-yj-zk))
$$
- 證明來源 (**極建議照順序先看!! 看不懂再回來**):
1. https://www.youtube.com/watch?v=mvmuCPvRoWQ
2. https://www.youtube.com/watch?v=d4EgbgTm0Bg
3. https://eater.net/quaternions
- Stereographic Projection:
- [2D -> 1D](https://eater.net/quaternions/video/stereo2d):
- 3D -> 2D 或 4D -> 3D，我理解成: **由多個 2D -> 1D 的線 span 成的平面/空間**
- 2D -> 1D 的線記錄了少的一維(實數)在其他維度(虛數)的位置
- 從 -1 project 效果: **實數愈大(Max 1)，愈接近原點，實數愈小(min -1)，離原點愈遠**
- [3D -> 2D](https://eater.net/quaternions/video/stereo3d)，乘 $i$ 時(轉 $j$ 軸)，圓變大然後變直線?
- 因為:
$$
\begin{flalign}
& i \rightarrow -1 \\
& -i \rightarrow 1 \\
\end{flalign}
$$
- 最後所有 $i$ 項都消失，剩 $real$ 與 $j$，也就是直線
- 記得 -1 是 $\infty$，$i$ 項漸漸接近 -1 時，project 會變超大，有 $i$ 項的黃色右邊圓會放大，左邊黃色圓會縮小
- 斜對角的縮放，來自 $i, j$ 項一起縮放:
- $real$ 使結果仍在 unit sphere，**愈多 $|i|,|j|$ 使 $real$ 愈小，然後正負號決定點接近 1(原點) 還是 -1($\infty$)，因此表示"離原點距離"**
- $i, j$ 也能說是: **表示"斜對角的位置(方向)"**
- 用 $1+0i+0j$ (粉色點) 來想 project 結果，會好很多
- $real,i,j$ 與角度的關係:
$$
c+ai+bj=\cos\theta+\sin\theta(a'i+b'j)
$$
- $a',b'$ 是 $i,j$ 平面上單位圓的點，整個 3D 圓會往 $(a',b')$ 方向轉 $\theta$ 度
- **在 2D 長度 = 1 的線，當成新的軸，與多的 1D 形成新的長度 = 1 線 in 3D**
- 所以能有其他解釋，如:
$$
ai+c+bj=\cos\theta i+\sin\theta(a'+b'j)
$$
- 但原本的解釋，project 回 2D 會變成熟悉的: $\cos\theta+\sin\theta a'i$，從 1 開始旋轉的定義，為了一致性才解釋成 $\cos\theta+\sin\theta(a'i+b'j)$
- **乘法與"旋轉"的關係?**
- 2D: ($i^2=-1$，乘 $i$ 轉 $90^\circ$)
- $c+di$ 的相似三角形，來達到轉 $c+di$ 代表的 **$0$ 度到 $\theta$ 度旋轉**
- stereographicly project 後轉 $\theta$ 度變成 $i$ 軸上的平移
- 3D:
- **數學上沒有定義** (我也想不到怎麼定義使"圓轉 $\theta$"與乘法有關)

- 光是 $-j$ 轉 $\frac{\sqrt{3}}{2}i+\frac{1}{2}j$ 就很難解釋，$1$ 會被轉 $90^\circ$，但 $-j$ 轉的角度就很怪
- 從結果回推，為了維持垂直關係，$-j$ 轉完的 $i,j$ 是 $-\frac{1}{2}i-\frac{\sqrt{3}}{2}j$，要怎麼定義乘法讓 $-\frac{\sqrt{3}}{2}ij$ 變成那樣 for all 旋轉，好像很難、不漂亮、**不實用**
- 只能確定 $j^2=-1$ 是一定要的: ($-j$ 轉完的 $real$ 是 $\frac{1}{2}$ 沒錯)
- 為了之後理解，如果自己定義: $i^2=j^2=-1$，$ij=j$，$ji=i$，乘 $i,j$ 各自轉 $90^\circ$，互不影響
- 乘 $i$，可想成把 $a+bi+cj$ project 到垂直 $j$ 的平面，轉 $90^\circ$，再還原 project
- **$i,j$ 決定旋轉目標向量 at $*i,*j$ 平面位置，以 $real$ 決定轉多少度**
- **$real$ 增加會使 $i,j$ 減少**，才能維持目標向量方向不變、總長度 = 1
- $i,j$ 減少在 4D 會有其他影響，這裡沒事
- stereographicly project 後，一樣 $i,j$ 決定方向，只是轉 $\theta$ 度變成方向軸上的平移(與原點的距離)
- 除了 $1$ 的其他點，在 3D 也會依照 $d+ei+fj$ 的方向轉 $\theta$
- 但**不是**[演示中](https://eater.net/quaternions/video/stereo3d)的轉 $\theta$ 就是了...
- why 需 4D 形容 3D 旋轉?
- [3D](https://eater.net/quaternions/video/stereo3d) 只能形容 north pole "位置"(座標 vector 在特定 2D 圓上的旋轉)，不含 3D 圓的自轉，必須多一個 degree of freedom
- 3D 的 $(real, i, j)$ 就是 unit sphere "north pole 位置"
- **[Quaternions(4D)](https://eater.net/quaternions/video/quatmult) 乘法與"旋轉"關係**:
- 代數:
$$
\begin{flalign}
& i^2=j^2=k^2=-1 \\
& ij = -ji = k \\
& jk = -kj = i \\
& ki = -ik = j \\
\end{flalign}
$$
- 這樣的定義，使 $*i$ 不只是對 $a+bi$ 轉 $90^\circ$，還讓 $cj+dk$ 依右手定則轉 $90^\circ$
- 想像成 3D 的 Stereographicly Projection **(2D 平面上直線平移、離目標向量愈遠的線移動量愈少) 外，整個空間還會以右手定則方向旋轉**
- 幾何:
- 理論上 $(a+bi+cj+dk)(e+fi+gj+hk)$ 會以 $bi(e+fi+gj+hk)$、$cj(e+fi+gj+hk)$、$dk(e+fi+gj+hk)$ 組成目標 3D 向量，讓 $(e+fi+gj+hk)$ 依 $a$ 的量往目標 3D 向量轉 $cos^{-1}a$ 度
- 但這也是座標 vector 旋轉，而且在 4D，無法直接視覺化
- Stereographicly Projection:
- 簡單來說: **直線平移 + 空間右手定則旋轉**
- 詳細來說:
- ????組成"目標向量"並"往目標向量轉角度"，**是在 4D 中一個 2D 平面上發生**， Stereographicly Projection 使面變成線，**因此"向量旋轉"變成"直線平移"**
- **$i,j,k$ 之間的關係**，和 3D -> 2D 一樣，**沒有 $real$ 下 project 前後的位置不變** (畢竟**壓扁的只有 $real$**)
- 所以 $sin\theta$ 前的 $i,j,k$ 會是正常 3D 位置，$\sin\theta$ 後(4D 向量旋轉)只是乘係數，方向不變，**$i,j,k$ 能正確表示 4D 座標旋轉的目標向量**
- 但
- 像 3D -> 2D 那樣，想像成 $real$ 維度被壓扁到 3D 空間了，**每條線**(含 $x,y,z$ 軸) **都是 $real$ project 到 $i,j,k$ 的結果**
- 這包含目標向量的線，所以就和 3D -> 2D 一樣，在向量旋轉時只是 $real$ 讓原本向量減少($real$ 表示與原點的距離) + $i,j,k$ 乘 $\sin\theta$ (目標向量只改長度)，所以 project 後有在"目標向量平移"效果

- **Quaternions 與真。3D 旋轉**:
- 簡單來說: **不要**直線平移，**留下**空間右手定則旋轉
- 直線平移: 座標 vector 轉的角度($real$)，乘 $-\theta$ 轉回來
- 空間右手定則旋轉: 目標 vector($i,j,k$)，不動
- 詳細來說:
- 因此**整個空間**、**繞著指定的軸**轉了 $2\theta$ 度

## Fourier Series basis 能 span 整個 f(x) 空間
$$
\frac{a_0}{2}+\sum_{n=1}^\infty a_n \cos(n \pi\frac{x}{p})+b_n\sin(n\pi\frac{x}{p}), \: x \in [-p,p]
$$
Lecture slide (Download it before it gone!): https://homepage.ntu.edu.tw/~ihwang/Teaching/Fall13/Slides/DE_Lecture_13_handout_v3.pdf

series 的 cofficient 來自 f(x) inner product project 到 basis (看[這個](https://www.youtube.com/watch?v=0SGmb_dRm2U)之後我才懂)
- p.s. Dirichlet’s theorem 與 Dirichlet Kernel 不一樣，但[很有趣](https://www.youtube.com/watch?v=EK32jo7i5LQ)壓

重點：**沒有任何 $f(x)$ linear independence to** $\{1, \sin(n\pi\frac{x}{p}), \cos(n\pi\frac{x}{p})\} \forall n \in Z^+$，所有 function $f(x)$ 都能用 $\{1, \sin(n\pi\frac{x}{p}), \cos(n\pi\frac{x}{p})\} \forall n \in Z^+$ 組成
- **$f(x)$ 是 domain $[-p,p]$ 讓 sin cos domain $[-\pi,\pi]$ 的週期函數**
- 因此 $\sin(1.1 \pi\frac{x}{p})$ 等 $n \notin Z$ 三角函數不能被 fourier series 表示，不討論
- 正常的 function in domain $[-\infty,\infty]$ 會被切成 domain $[-\pi,\pi]$ 的週期函數
- $f(x), g(x)$ linear independence if and only if $\alpha f(x) + \beta g(x)=0$ 時，只能來自 $\alpha = 0$ and $\beta = 0$ 或 $f(x)$ or $g(x)=0$

推導：$\forall n \in Z^+$，**跟 $\{\sin(n\pi\frac{x}{p})\}$ independent 的只可能是偶函數，跟 $\{\cos(n\pi\frac{x}{p})\}$ independent 的只可能是奇函數**，同時是奇函數與偶函數的 function 是常數函數，但常數函數 dependent to $1$，因此 $f(x)$ 不存在

P.S. [inner product = 0 代表 linear independent](https://math.stackexchange.com/questions/1823780/relation-between-linear-independence-and-inner-product):
- inner prodcut: $\int_{-p}^pf(x)g(x)dx$
- 如 $f(x)=c$, $g(x)=\sin(\frac{n\pi}{p}x)$ 時，$\int_{-p}^pf(x)g(x)dx=0$，明顯的讓 $\alpha f(x) + \beta g(x)=0$ 只有 $\alpha= \beta = 0$ 能實踐
- Note: trivially 反方向推，會錯
- 能以 $\int_{-p}^pf(x)g(x)dx=0$ 證明**跟 $\{\sin(n\pi\frac{x}{p})\}$ independent 的只可能是偶函數**
- $Z^+$ 確保

P.S. Discrete cosine trnasform 能只用 $\{1, \cos(n\pi\frac{x}{p})\} \forall n \in Z^+$，span 整個 f(x)，**因為 $f(x)$ 的 domain $x$ 被限制 > 0** (cos 的 domain 原本 $[-\pi, \pi]$ 變成 $[0, \pi]$)，**只要讓 < 0 的值 even padded** (做 DFT 下去就是)，整個 $[-\pi, \pi]$ 就是 even function
- even function 中，能跟 $\cos(n\pi\frac{x}{p})$ independent 的只有常數函數，常數函數 dependent to $1$，因此在 span 外的 $f(x)$ 不存在

P.S. Frourier Series Complex form:
$$
f(x)=\sum_{n=-\infty}^\infty c_n e^{i n \pi\frac{x}{p}}, \:where \:\: c_n=\int_{-p}^{p}f(x)e^{-i n \pi\frac{x}{p}} dx
$$

f(x) 現在是在 complex plan 上的週期函數
$c_n$ 的 $e$ 多了負號，來自 cross product 複數推廣：$<f(x),g(x)>=\int_{-p}^{p}f(x)\overline{g(x)} dx$
因為 $e^{i n \pi\frac{x}{p}}$ 表示 [x 從 $[-p, p]$ 轉 $n$ 圈中，轉到哪裡](https://youtu.be/r6sGWTCMz2k?t=859)：
- **除非 $f(x)$ 一樣在 x 從 $[-p,p]$ 轉了 $n$ 圈，不然任何 $f(x)$ 都不可能在 $a,b \ne 0$ 下使 $af(x)+be^{i n \pi\frac{x}{p}}=0$**
- 為了避免順時針轉與逆時針轉 dependent， $n$ 從 $[0, \infty)$ 擴展到 $(-\infty, \infty)$
- 因此 $\{e^{i n \pi\frac{x}{p}}\} \forall n \in (-\infty, \infty)$ 且 $n \in Z$，能 span 整個 complex 平面的週期函數 $f(x)$
- 一樣無法表示 $f(x)=ne^{i n \pi\frac{x}{p}}$ where $\notin Z$ 的 case 因為他們週期不在 $[-p,p]$

## 取樣標準誤 Sample Standard Deviation

https://classic-blog.udn.com/nilnimest/92412101

$$
SS_T = \sum_{i=1}^n(y_i - \mu)^2 \\
SS_R = \sum_{i=1}^n(y_i - \overline{y})^2 \\
SS_E = \sum_{i=1}^n(\overline{y} - \mu)^2=n(\overline{y} - \mu)^2 \\
$$
- 各樣本與母群 sum of square
- 樣本 sum of square
- 平均數與母群 sum of square

1. 與母群總變異($SS_T$, Total) = 樣本平均沒解釋的(組內變異 $SS_R$, Residual) + 樣本平均解釋的($SS_E$, Explained)
$$
SS_T=SS_R+SS_E
$$
$$
\begin{aligned}
SS_T & = \sum_{i=1}^n(y_i - \mu)^2 \\
& = \sum_{i=1}^n [(y_i -\overline{y}) + (\overline{y}- \mu)]^2 \\
& = \sum_{i=1}^n (y_i -\overline{y})^2 + \sum_{i=1}^n(\overline{y}- \mu)^2 + \sum_{i=1}^n2(y_i -\overline{y})(\overline{y}- \mu)\\
& = \sum_{i=1}^n (y_i -\overline{y})^2 + \sum_{i=1}^n(\overline{y}- \mu)^2 + 2(\overline{y}- \mu)\sum_{i=1}^n (y_i -\overline{y})\\
& = \sum_{i=1}^n (y_i -\overline{y})^2 + \sum_{i=1}^n(\overline{y}- \mu)^2 \\
& = SS_R+SS_E
\end{aligned}
$$
from $\sum_{i=1}^n(y_i -\overline{y})=0$ 組內變異總和=0 \
\
單獨 $(a+b)^2$ 有 $2ab$，$\sum_{i=1}^n$ 讓所有 $2ab$ 互相抵銷。$SS_T=SS_R+SS_E$ 正確，但不直觀

2. **樣本平均變異 $SS_E$ 解釋了 $\frac{1}{n} SS_T$**
$$
SS_E \approx \frac{1}{n} SS_T
$$
$$
\begin{aligned}
SS_E & = \sum_{i=1}^n(\overline{y} - \mu)^2 \\
& = n(\overline{y} - \mu)^2 \\
& = n(\frac{\sum_{i=1}^ny_i}{n} - \mu)^2 \\
& = n(\frac{\sum_{i=1}^ny_i - n\mu}{n})^2 \\
& = n\frac{[(y_1-\mu)+(y_2-\mu)+...+(y_n-\mu)]^2}{n^2} \\
& \approx n\frac{[(y_1-\mu)^2+(y_2-\mu)^2+...+(y_n-\mu)^2]+\sum_{\forall i,j \ i \not = j }(y_i - \mu)(y_j - \mu)}{n^2} \\
& = n\frac{[(y_1-\mu)^2+(y_2-\mu)^2+...+(y_n-\mu)^2]}{n^2} \\
& = n\frac{\sum_{i=1}^n(y_i-\mu)^2}{n^2} \\
& = \frac{1}{n}SS_T \\
\end{aligned}
$$
- $\sum_{\forall i,j \ i \not = j }(y_i - \mu)(y_j - \mu)=0$ from every $y_i$ is identically (同母群) and independently distributed (i.i.d.), covariance is zero\
- 原本樣本平均解釋的變異 $SS_E$ 就是
$$
n \cdot \frac{[(y_1-\mu)+(y_2-\mu)+...+(y_n-\mu)]^2}{n^2}
$$
$\overline y$ 拆成每項 $y_i$，**$y_i$ 總變異加總，還回去多乘的 $n$，平方** = 一項 $SS_E$，共 $n$ 項 \
因為共變 = 0，變成
$$
n \cdot \frac{[(y_1-\mu)^2+(y_2-\mu)^2+...+(y_n-\mu)^2]}{n^2}
$$
一樣 $(a+b)^2$ 的 $2ab$ 項 = 0，"總變異加總, 還 $n$, 平方" 與 "總變異平方, 還$n^2$, 加總" aka $SS_T / n^2$ 等價 \
有 $n$ 個 $SS_T / n^2$, 得到 $SS_E \approx \frac{1}{n}SS_T$
- 記 **"樣本平均解釋了 $\frac{1}{n}$ 總變異"** 較直觀
- 為什麼? Ans: **樣本平均 $=y_i$ 加總除上 $\frac{1}{n}$，跟總變異只差 $\frac{1}{n}$ (平方再*n) 嘛**

3. 得證
$$
\begin{aligned}
SS_R &= \frac{n-1}{n}SS_T \\
\frac{SS_R}{n-1} &= \frac{SS_T}{n} \\
s_{y(estim.)}^2 &=\sigma^2
\end{aligned}
$$
樣本平均解釋了 $\frac{1}{n}$ 個總變異，樣本內變異剩 $\frac{n-1}{n}$ 個總變異，樣本內變異回推總變異要 $\frac{n}{n-1}$，但變異數 $\sigma^2$ 是"平均變異"，所以 $\frac{n}{n-1}\frac{1}{n}=\frac{1}{n-1}$

記 **"樣本平均解釋了 $\frac{1}{n}$ 總變異**" $\Rightarrow$ "**樣本內變異解釋了 $\frac{n-1}{n}$ 總變異**"
$$
\sigma^2 = \frac{n}{n-1}s_y^2
$$
或許會直觀一些！

<!-- 因為 $c_n=a_n+b_ni$ 且 $e^{ix}=\cos x+i\sin x$，每一項 $c_n e^{\frac{i n \pi}{p}x}$ 都能表示為
$$
a_n\cos(\frac{n \pi}{p}x)-b_n \sin (\frac{n \pi}{p}x)+a_n\sin (\frac{n \pi}{p}x)i+b_n\cos(\frac{n \pi}{p}x)i
$$
其中預設 $b_n < 0$ ($c_n$ 累加時用 $e^{-\theta}=\cos\theta - i\sin\theta$ 累加)，因此 real part 被 $\{1, \cos(\frac{n \pi}{p}x),\sin(\frac{n \pi}{p}x)\}$ span (已證明), imaginary part 被 $\{-1, -\cos(\frac{n \pi}{p}x),\sin(\frac{n \pi}{p}x)\}$ span (basis scalar 不重要，因此已證明) -->
# 不實用數學的直觀證明 Intuitive Proofs of Unused Tools
已經證好了，但後來發現有更簡潔的說明方式，而棄用的證明
這些證明，目前專精 #遊戲設計 #電腦圖學 的大學生還沒實務上用到，等用到才歸類為"實用"

## Euler Number (e)
$$
e=\lim_{n\rightarrow\infty}(1+\frac{1}{n})^n
$$
- $e$ 的定義，我想理解成: **為了使 $(e^x)'=e^x$ 的數字**
1. 先了解: $\lim_{h\rightarrow0}h = \lim_{n\rightarrow\infty}\frac{1}{n}$ (都趨近、夾向 $0$)
2. 現在，就能從微分定義推倒:
$$
\begin{flalign}
& (e^x)' \\
& = \lim_{h\rightarrow0}\frac{e^{x+h}-e^x}{h}\\
& = \lim_{h\rightarrow0}\frac{e^x(e^{h}-1)}{h}\\
& = e^x\lim_{h\rightarrow0}\frac{e^{h}-1}{h}\\
& = e^x\lim_{n\rightarrow\infty}\frac{e^{\frac{1}{n}}-1}{\frac{1}{n}}\\
& = e^x\lim_{n\rightarrow\infty}n(e^{\frac{1}{n}}-1)\\
\end{flalign}
$$
3. 我們需要 $\lim_{n\rightarrow\infty}n(e^{\frac{1}{n}}-1)=1$ 的數字，數學家湊出了 $e=\lim_{n\rightarrow\infty}(1+\frac{1}{n})^n$ 能做到！所以*定義* $e=\lim_{n\rightarrow\infty}(1+\frac{1}{n})^n$
4. 所以理解 $e$ 是**為了使 $(e^x)'=e^x$ 的數字**
## sin'x 與 cos'x Derivative of sinx, cosx
$$
\begin{flalign}
& \sin'\theta = \cos\theta \\
& \cos'\theta = -\sin\theta \\
\end{flalign}
$$
- 證明來源: https://math.stackexchange.com/questions/392/intuitive-understanding-of-the-derivatives-of-sin-x-and-cos-x
0. 先知道: **一個點的切線斜率就是那個點的微分值**
- 從定義知道，"微分的值 $f'(x)$" 意義，是「**如果在 $(a, f(a))$ 的變化速率下，x 走 1 單位，y 可以走 $f'(a)$ 單位**」 (除法的概念)
$$
f'(a)=\lim_{x\rightarrow a}\frac{f(x)-f(a)}{x-a}
$$
- 也知道****所"走"的這條直線在附近不能與原圖有交點**** (不然 $\lim$ 的 $x$ 就不夠"趨近於 $a$")
- 圖片來源: https://brilliant.org/wiki/derivative-by-first-principle/
- **所以，這條"所走的直線"會是切線，直線的斜率($\frac{\Delta y}{\Delta x}$)依照微分定義，也會是 $f'(a)$**
1. 靜下心，理解這張有點複雜，但超有幫助的圖:
- $H$ 是 helix，參數方程式為 $<x,y,z>=<\cos\theta,\sin\theta,\theta>$，我們把 $\theta$ 的數值印在 $z$ 軸， 所以 $\frac{d\sin \theta}{d\theta}$ 與 $\frac{d\sin z}{dz}$ 等價，**討論對 $z$ 微分的結果即可**
- 因此，**只要知道 $z$ 走 1 單位，也就是 $\Delta z$(灰色線段) 訂為 $1$ 時，$x = \cos z$ 與 $y =\sin z$ 走了多少單位即可**
- 找到 $x=\cos z$, $y=\sin z$ 對應的 $\Delta x$(紅色線段) 與 $\Delta y$(綠色線段) 的意義，有兩種解釋方式，選好理解的理解吧:
- $\Delta z=1$ 時 $H$ 在點 $P$ 的切線向量為 $\vec{v}$，project 到 $zx$, $zy$, $xy$ 平面，就分別是 $x = \cos z$, $y=\sin z$, $x^2+y^2=1$ 的切線向量，**因此 $<\Delta x, \Delta y>$ 會是 $x^2+y^2=1$ 在 $z=\theta$ 時的切線向量**
- 而且因為 $H$ 是以正方形 + 對角線捲成的 ($z=\theta$ 時 $x^2+y^2=1$ 根據 [radian 定義](https://en.wikipedia.org/wiki/Radian)，會在周長走 $\theta$ 單位長)，**能確定 $\vec{v}$ 也是某個正方形對角線**，又設定 $\Delta z=1$，所以推出剩下另一邊 $||<\Delta x, \Delta y>||=1$
- 圖源: https://demonstrations.wolfram.com/CalculusFreeDerivativesOfSineAndCosine/
- 因為 $x = \cos z$, $y=\sin z$，$(x,y)$ 永遠是單位圓上的點，因此 **$<\Delta x, \Delta y>$ 會是 $x^2+y^2=1$**(單位圓方程式 by 畢氏定理) **在 $z=\theta$ 時的切線向量** (如果不是，$<\Delta x, \Delta y>$ 的延伸會在 $P_{xy}$ 外的點有交點，而那點會有自己的 $\theta'$，如下圖，**這樣代表 $z$ 不夠"趨近於 $\theta$" ，不合 $\sin'z$ 與 $\cos'z$ 在** 0. **提及的微分定義**)
- $||<\Delta x, \Delta y>||=1$ 解釋與第一種的說明類似， $<\Delta x, \Delta y>$ 是切線向量，根據微分定義，切線也能**解釋為在圓上的 $(x,y)$ 變化長度速度 (單位長 per $\theta$)**，又知道 **$\theta$ 就是"走過的圓周長"**，所以 $(x,y)$ 變化長度速度一定極度趨近($\lim$ 等級趨近) $1$ 單位長 per $\theta$，任何 $\neq 1$ 數字都與此矛盾，所以 $||<\Delta x, \Delta y>|| = 1$
- **$(x,y)$ 變化長度速度 = $1$ per $\theta$** 的直觀圖解 & 對應代數證明:
- 直觀幾何理解: **$\Delta \theta \rightarrow 0$ 時，直線變化與弧長貼在一起，變一樣了**，根據微分定義， **$(x,y)$ 變化長度速度**(直線 per $\theta$) **與 "走過圓周長"速度**(弧長 per $\theta$, 已知 $=1$) **必須一樣**
- 速度就是微分，微分就是微小 $\frac{\Delta l}{\Delta \theta}$，然後發現 $\frac{\Delta l}{\Delta \theta} =1$，所以同樣表示 $(x,y)$ 變化速度，又同樣 $/\Delta \theta$ 的 $<\Delta x, \Delta y>$，長度必 $=1$
- 如果想了解 $\lim_{\Delta \theta \rightarrow 0}\frac{\sin \Delta \theta}{\Delta \theta}=1$ 的證明，參下(小不值觀，但寫得非常易懂): https://math.stackexchange.com/questions/75130/how-to-prove-that-lim-limits-x-to0-frac-sin-xx-1

2. $<\Delta x, \Delta y>$ 是多少？圖解！
- 用 dot product 概念，或自己畫直角三角形驗證，就很好理解了~
- 因為知道 $||<\Delta x, \Delta y>||=1$，用 dot product 時，能確定垂直向量的長度
3. 知道 $<\Delta x, \Delta y>=<-\sin\theta,\cos\theta>$，就知道 $z$ 走 1 單位 $\cos z$ 與 $\sin z$ 分別走多少單位 (切線斜率 get!)，根據 0. "一個點的切線斜率就是那個點的微分值"，因此 $\cos'\theta=-\sin \theta$ 與 $\sin \theta = \cos \theta$ 得證
- 一句話總結: **微分結果會是這樣，因為切線斜率 project 到單位圓的切線！**

## Mean Value Theorem
- **正常版**:
- 在 $(a, f(a))$ 到 $(b, f(b))$ 中間，一定存在一點 $(\xi, f(\xi))$ 的 $f'(\xi)=\frac{f(b)-f(a)}{b-a}$
- 圖解，超直觀:
- 圖源: https://en.wikipedia.org/wiki/Mean_value_theorem
- $x=a$ 到 $x=b$ 的過程，$f(x)$ 只能 1. 依著 $\frac{f(b)-f(a)}{b-a}$ 走 2. 相較 $\frac{f(b)-f(a)}{b-a}$ 的路線，先增加再減少(或先減少再增加)。1. 一定符合 theorem， **2. 的切線斜率會先比 $\frac{f(b)-f(a)}{b-a}$ 高(低)，為了回 $f(b)$ 之後的切線斜率必須比 $\frac{f(b)-f(a)}{b-a}$ 低(高)**，所以中間一定有切線的斜率 $= \frac{f(b)-f(a)}{b-a}$
- **mean value theorem for integration:**
- **在 $a$ 到 $b$ 中間，一定存在一點 $\xi$ 使 $\int_a^bf(x)dx = f(\xi)(b-a)$**
- 直觀的圖解:
- **$\int_a^bf(x)dx$ 面積在淺綠與深綠長方形之間，虛線長方形也是，總有一組虛線長方形會剛好是 $\int_a^bf(x)dx$**
- 圖源: https://en.wikipedia.org/wiki/Mean_value_theorem#First_mean_value_theorem_for_definite_integrals
- let $f(m), f(M)$ in $x=[a,b]$ 分別是 $f(x)$ 在 $x=[a,b]$ 中 min 與 Max 值
- 面積的關係:
$$
f(m)(b-a) \le \int_a^bf(x)dx \le f(M)(b-a)
$$
- 可推 $f$ 函數值(高) 的關係:
$$
f(m) \le \frac{\int_a^bf(x)dx}{(b-a)} \le f(M)
$$
- 這說明了 $f(m)$ 到 $f(M)$ 之間，***存在***一個數值，乘上 $(b-a)$ 就是 $\int_a^bf(x)dx$
- $f$ 是連續、沒有斷掉的，$f$ 函數值一定要有 $f(m)$ 到 $f(M)$ 之間的所有數字，因此，***存在***的數值($\frac{\int_a^bf(x)dx}{(b-a)}$)也會**存在**於 $f$ 值域
- 所以能令 $\frac{\int_a^bf(x)dx}{(b-a)}=f(\xi)$，$\xi$ 在 $[m,M]$ 就一定在 $[a,b]$
- 使 $\int_a^bf(x)dx = f(\xi)(b-a)$ 的點 $x=\xi$ 得證！
## Fundamental Theorem of Calculus (Part 1)
$$
\begin{flalign}
&let \: F(x) =\int_a^xf(t)dt \\
&then \: F'(x) = f(x)\\
\end{flalign}
$$
- $a$ 為 $x$ 軸上任意一點，$F(x)$ 能解釋為 $f(x)$ 從 $a$ 到 $x$ 曲線底下的面積
- 微分定義中的 $F(x+h)-F(x)$ 能解釋成$\int_x^{x+h}f(t)dt$，相當於下圖粉紅色面積
- 再根據 mean value theorem for integration，存在 $\xi$ 使 $\int_x^{x+h}f(t)dt = f(\xi) \cdot h$，換句話說: $\frac{\int_x^{x+h}f(t)dt}{h}=f(\xi)$
- $\lim_{h \rightarrow 0}$ 時:
- $f(\xi) =f(x)$ by 被 $f(x)$ 與 $f(x+h)$ 夾擠
- $\frac{\int_x^{x+h}f(t)dt}{h}=F'(x)$ by 微分定義
- 所以 $F'(x)=\frac{d\int_a^{x}f(t)dt}{dx}=f(x)$ 得證！
- **直觀理解**: **$F'(x)=\frac{微小面積增加量}{微小底增加量}$ 就是高，在 $h \rightarrow 0$ 下就是 $f(x)$**
## i 在指數 i in exponent
$$e^{ix}=\cos x + i\sin x$$
- **Intuition: $e^{ix}$ 是轉 $x$ radian in *complex plain***
- 來源: https://www.youtube.com/watch?v=mvmuCPvRoWQ
- **"complex plain" 概念與 xy 座標 vector 的 basis 一樣， x(real) 與 y(imaginary) 互不影響，但可以一起組成一個點(數字, 平面平移位置)**
- 證明來源: https://www.youtube.com/watch?v=_f_UXJUO1dY&ab_channel=Madaydude + https://chatgpt.com/share/b2878bbc-5bf4-4f8e-aa42-e3c0979434fd + https://chatgpt.com/share/aa620a89-0b9a-4eae-8fd5-cb714903f25f
1. 當 $f_1(0) = f_2(0)$、$f_1'(x) = f_2'(x)$，可推得 $f_1(x)=f_2(x)$
- **直觀理解**: **出發點一樣，變化方式又一樣，那輸入 $x$ 輸出 $f(x)$ 一定一樣**，函式就等價
- 詳細推導:
1. 用一個函數 $G(x)=f_2(x)-f_1(x)$ 紀錄 $f_2$ 與 $f_1$ 的差距
2. 微分: $G'(x)=f_2'(x)-f_1'(x)=0$ by $f_1'(x) = f_2'(x)$ for all $x$
- 因為變化方式一樣，"$f_2$ 與 $f_1$ 的差距"變化速率為 $0$ (永遠不變)
3. $G'(x)=0$ for all $x$，所以只可能 $G(x)=C$，$C$ 是 constant
- 從定義看比較清處: $G'(x)=\lim_{h \rightarrow 0}\frac{G(x+h)-G(x)}{h}=0$ for all $x$，因此必須 **$lim_{h \rightarrow 0}G(x+h)=G(x)$ for all $x$**，$G(x)$ 不能因 $x$ 變動而改變
4. 知道 $G(x)=f_2(x)-f_1(x)=C$，又知道 $f_2(0)=f_1(0)$，用 $x=0$ 帶入 $G(x)$ 得出 $C=0$，所以 $f_2(x)-f_1(x)=0$ for all $x$
- "$f_2$ 與 $f_1$ 的差距" 不能變 + 知道一點 $f_1=f_2$，那"差距"只能是 $0$ 了
5. 所以 $f_1(x)=f_2(x)$ for all $x$ 得證!
- $f_1$ 與 $f_2$ 在所有 $x$ 下輸出都一樣(差距 $=0$)，那 $f_1$ 與 $f_2$ 就是"等價"的
2. 當 $x=0$ 時:
$$
\begin{flalign}
& e^{ix}= e^{i0} =1 \\
& \cos x + i\sin x = \cos0 + i\sin0 =1
\end{flalign}
$$
得知 $e^{i0} = \cos0 + i\sin0$，**出發點 $f(0)$ 一樣**
3. **變化方式**:
$$
\begin{flalign}
& (e^{ix})' = i(e^{ix})\\
& (\cos x + i\sin x)' = -\sin x+i\cos x =i(\cos x+i\sin x)\\
\end{flalign}
$$
**都是 $f'(x)=if(x)$**，再加上 2.，我們能確認 $(e^{ix})'= (\cos x + i\sin x)'$
- 直觀理解: 記得 **$*i$ 就是往 $i$ 轉 $90^\circ$，所以速度方向永遠垂直半徑方向**
- (真正證明要用微分方程，我沒學過，不過 3.是我理解能使用微分方程的原因)
4. 由 1. 的理論與 2. 3. 的證據，得證出 $e^{ix}=\cos x + i\sin x$ 結果！
- 直觀上，**左右兩邊都在畫一個單位圓**，所以左右等價~
- 此時:
- $e^{i\pi} = -1$ 就能直觀地用幾何理解
- 其他 $x^i$ 也能用 $e^{\lg xi}$ 推廣了