---
title: Linear Algebra Review
tags: Linear Algebra
---
# Linear Algebra Review
:::warning
note: **Bold** represents vector
:::
**Ch. 4-9 Matrix transformation from R^n^ to R^m^**
==Theorem==
If T~A~: R^n^ -> R^m^ and T~B~: R^n^ -> R^m^, and if T~A~(**x**) = T~B~(**x**) for all **x** in R^n^, then A = B.
**By Definition**
T~A~(**e~1~**) = A**e~1~**, ..., T~A~(**e~n~**) = A**e~n~**
---
**Ch. 5-1**
Ax = λx, λ is scalar => (λIn - A)x = 0
λ: Eigenvalue of A
x: λ 對應的 Eigenvector
**How to find λ**
Solve det( (λIn - A) ) = 0
**速解**
If A is diagonal or triangular matrix, then λ is the main diagonal of A
**Eigenspace**
If (λIn - A)x = 0, the null space of (λIn - A) is eigenspace of A correspond to λ.
**Ch. 5-2 Diagonalization**
A、B are squre matrix.
If there is an invertable matrix P s.t. P^-1^AP = B, then B is simliar to A
A is diagonalizable, if it's similar to a diagonal matrix.
And there exists P s.t. P^-1^AP is diagonal, then P diagonalize A
**How to find P**
1. 找到n個**線性獨立的**eigenvector，確保該matrix is diagonalizable
2. 令P = [P~1~, ~, P~n~ ], P~i~為1.找到的n個eigenvector
3. 解P^-1^AP, 且P~1~ ~ P~n~ 有對應的 λ~1~ ~ λ~n~
**How to find A^n^, if A is dianonlizable**
P^-1^AP = D => A = PDP^-1^ => A^n^ = PD^n^P^-1^
---
**Ch. 6-1 Inner Product and 6-2 Orthogonality**
- <**u, v**> = u~1~v~1~ + u~2~v~2~ + ... + u~n~v~n~
- ||v|| = √<**v, v**>
- d(**u, v**) = ||**u - v**|| = √<**u - v**, **u - v**>
u and v are called orthogonal if <**u, v**> = 0
---
**Ch. 6-3 Gram-Schmidt Process**
If S is an orthogonal basis for an Inner Product Space V & S = { v~1~ ~ v~n~ } & u is any vector in V, then
u = $\dfrac{<u, v_1>}{||v_1||^2}*v_1$ + ... + $\dfrac{<u, v_n>}{||v_n||^2}*v_n$
If S is an orthonormal basis for an Inner Product Space V & S = { v~1~ ~ v~n~ } & u is any vector in V, then
u = $<u, v_1>v_1 + ... + <u, v_n>v_n$
pf:)
Let u = $c_1v_1+c_2v_2+...+c_nv_n$
Let $i$ from 1 to n, $<u,v_i>$ = $<c_1v_1+c_2v_2+...+c_nv_n, v_i>$
=> $c_i<v_i,v_i>$, Since S is orthogonal basis
=> $<u,v_i>$ = $c_i<v_i,v_i>$ = $c_i||v_i||^2$
=> $c_i$ = $\dfrac{<u, v_i>}{||v_i||^2}$
=> u = $\dfrac{<u, v_1>}{||v_1||^2}*v_1$ + ... + $\dfrac{<u, v_n>}{||v_n||^2}*v_n$, 將$c_i$帶回原式
**Projection Theorem**
u = $w_1 + w_2$, where $w_1$ ∈ W, $w_2$ ∈ W^⊥^
$w_1$ = $proj_wu$
$w_2$ = $proj_{w^⊥}u$
If { v~1~ ~ v~r~ } is orthogonal basis for W & u is any vector in V, then
$proj_wu$ = $\dfrac{<u, v_1>}{||v_1||^2}*v_1$ + ... + $\dfrac{<u, v_r>}{||v_r||^2}*v_r$
If { v~1~ ~ v~r~ } is orthonormal basis for W & u is any vector in V, then
$proj_wu$ = $<u, v_1>v_1 + ... + <u, v_n>v_n$
**The Gram-Schmidt Process**
Convert a basis { $u_1, u_2,..., u_r$ } into an orthogonal basis { $v_1, v_2,..., v_r$ }
$v_1$ = $u_1$
$v_2$ = $u_2$ - $\dfrac{<u_2, v_1>}{||v_1||^2}*v_1$
$v_3$ = $u_3$ - $\dfrac{<u_3, v_1>}{||v_1||^2}*v_1$ - $\dfrac{<u_3, v_2>}{||v_2||^2}*v_2$
以此類推
若要取 orthonormal basis，將其分別處以各自長度即可
---
**Ch. 6-4 Best Approximation**
Use when Ax = b have no solution.
least squares error: ||**b - Ax**|| -> the smaller the better!!
**x** is the least square solution of the system.
How to find **x**
代 A^T^A**x** = A^T^b => **x** = (A^T^A)^-1^A^T^b
(if A has dependent columns, then (A^T^A)^-1^ do not exist, 要兩邊A^T^A, A^T^b 都算出來再換成 Bx = c 的形式去解)
The orthogonal projection of **b** on W is
proj~W~**b** = **Ax** = A(A^T^A)^-1^A^T^b
---
6-5 可以跳過ㄅ
恩 可以
---
6-6 也可以跳過ㄅ:+1:
當然可以，就代公式就好，係數還可以不用算出來ㄋㄜ
---
==Q&A==
娜娜子JJ
- 問個無關又有關的問題: 請問現代範圍是ch5+6+3(?)
4-8 ~ 4-9 (4-10考嗎? yes
5-1 ~ 5-2
6-1 ~ 6-6
7-2
:rose: for you ε٩(๑> ₃ <)۶з
Q: 不是說 if A's eigenvalues are all different, then A can be diagonalized 嗎？(這句是哪裡說ㄉ)
噢其實就是你寫的n個線性獨立的 eigenvector 是一樣ㄉ
是另一本課本啦
但我記得有一題育銘的題目
這一題算出來 λ 會有重根 λ = 2, 但仍然要我們算出 diagonal matrix D 耶，這個是合法的ㄇ？？
λ = 2 帶回去求出來
會得到2維的eigenvector
但心裡不蘇胡
但是出來的三個eigenvector會線性獨立ㄅ
噢我懂ㄌ是邏輯問題我很抱歉 沒關係 這很正常
不忘恥笑 您真是歡樂的源泉
您真是愛說笑
---
call him, Hello x where are U?
oh wow 深夜一到瘋狂模式開啟
在大師面前小的只不過是班門弄斧
你的🪓呢 等著妳拿mac砸我臉呢
我等你做計畫買的mac 才能砸你ㄚ
這樣多沒感覺，還是用妳的$買的，砸才有感覺啊
那簡單你先買我再用我的砸你然後我接手你ㄉ
最毒婦人心啊 **:)**
老人心海底針
J這個就是凱哥再用的Latex Yes
latexㄇ噢噢噢
唉該學ㄌ 我本來也那樣打算ㄉ 但是沒有迫切需要就沒動力學 反正要用在學就好
哈哈哈exactly就是現在ㄌ
雖然明天要期末考 哀呀 平常有準備就不用擔心那麼多啦
我都是那種期末考前玩特別瘋的
看ㄉ出來都要 call x 了，到底誰是x 還別說 我也想知道 沒有啦
深夜別亂打 粉口怕
其實開車的都是妳
噢哇我思想純正ㄉ
你這邪惡的司機
以前高中段考中間不是會穿插自習課ㄇ，有一次我就看大家都很認真在讀書，我就覺得很無聊，然後我就在教室看A片，最後我旁邊圍了一堆人，哈哈。我們班男女比1:2
黑噢哇老天耶
沒辦法我覺得那些時間拿來放鬆還比較有效果
你真的很鬆 這個就不好說了
老天 色鬼
我是說年紀大了，臉皮難免嘛，有些鬆垮垮的
噢不
所以我就說了，到底是誰再開車啊，公道自在人心
跟你說話真的很鬆開心 謝謝
結果大家又跑光ㄌ 他們是還沒讀完吧
嘿對 哈哈 我之前大一上的時候吧，也是考前，想找人打球都找不到，每個都說要準備考試
然後你又放A片ㄇ
我已經過了那年輕氣盛的時期了
老了也是有需求ㄉ八 有需求也不是自己解決啊 畢竟 都老了嘛 還需要別人幫你動ㄝ 人是互相的 一動換一動 默契真好
不，我是自己去打球
噢原來如此跟我想的一樣
噢哇真的ㄝ 哈哈
啊有人反應我們都沒寫到q 的應用ㄝ
q的應用是?
我後來算 orthogonal projection 的時候其實都偷懶用 P = QQ^T^
就有夠好算
像這種ㄅ我猜啦 我沒看懂，哈哈
給我一分鐘 一首歌的時間也可以
ok 我唱完ㄌ 好的
[誰是老大](https://www.youtube.com/watch?v=9atxVFtfr24)
有夠好聽 我聽聽看 沒聽過
還行 那個年代的歌曲就是整段歌詞一直重複
每句都充滿power 確實居然還有髒話啊 到是一個不錯的台語教材
我的歡樂泉源
這是台語的驕傲之處 即便不是髒話講起來也像髒話ㄇ
俗又有力
我要先來去洗澡ㄌ 請便
> // 好嗨喲www一起ㄚ 今晚不想睡~~
{% youtube io5acM1fwh8 %}
> 我決定從考古開始來帶邊的攻勢xd
不睡小心明天考到睡
他們現在已經日夜顛倒了
我有努力稅~~
比我還努力呢 (<- <-)
他們是每天都熬夜哦
差不多
覺得不想睡就不知不覺到早上了
這樣對身體不好啊，難怪一直翹課
之前翹課的時候還沒那麼嚴重啦
是這幾天比較嚴重
這個時候就要去運動啊，把自己操累一點，晚上就熬不了夜了
不 運動會更有精神xd
可以叫他們今天試試看 :rose:
今天晚上
{%youtube pKO9UjSeLew%}
---
## SOS
Q: plz help qq
> 108 test #2 Mr.Huang 在寫神馬 ...
- Problem: find out the orthogonal of f on w
- f is belongs to C[0, 2pi]
基本上是說f(x) 和 W 維度不同
題目要求得就g(x)
然後就代公式
紫色的部分就有一些延伸
比如 n->inf f(x) = g(x)
了解 多謝大師賜教 :+1:
齁來睏 bonne nuit <3
擦什摩 想擦甚麼就擦甚麼 撩改
挖媽擦布ㄉ喔阿
晚安世界 要去夢裡嗨 嗨不停ㄉ
:sleeping: 還真的有 突然發現蠻多的
:santa: @Angela-TIEN
:female_zombie: @Joycelyn wow
:bearded_person: @Shung
@Joycelyn :yum: :bug: 這是你的宵夜ㄇ 我的可沒這麼軟 :blue_car:
綠的不太健康八
蔬菜很健康呀 :vegetable:
多吃蔬菜會變綠
多吃蟋蟀會變帥
那你一定沒吃
聖人不在意外界世俗的眼光
那你軟也沒關係ㄅ
我吃軟的沒關係呀
你想吃什摩軟ㄉ
這個就不太方便縮出來了
就留給你夢裡縮ㄅ
再見
那我先走一步
迫不及待要縮ㄝ
哈哈
Sign in with Wallet
Connect another wallet