---
tags: Společný základ
---
# SZ_2. Statistika
*Důkladná znalost základních statististických metod (bodové odhady, intervaly spolehlivosti, testování statistických hypotéz). ANOVA. Neparametrické testy hypotéz. Mnohonásobná lineární regrese, autokorelace, multikolinearita. Analýza hlavních komponent (PCA). (MA012)*
**Zdroj k statistice II v ISu**
https://is.muni.cz/auth/el/fi/podzim2020/MA012/index.qwarp
:::danger
**TODO**
- Rekapitulace: základní rozdělení, ditribuční funkce atp. (statistika 1)
- Základy (bodové odhady,...) - dokončit
- ANOVA
- Neparametrické testy
- Mnohonásobná lineární regrese
- Autokorelace
- Multikolinearita
- PCA
:::
<style>
blockquote span{color:black;}
blockquote blockquote span{color:gray;}
</style>
**Vysvětlení barevného znační bloků**
> tento blok obsahuje intuitivní popis
> [color=#0000df]
> tento blok obsahuje definice a důležitá sdělení
> [color=#00df00]
> tento blok obsahuje doplňující komentář
> tento blok obsahuje příklady a doplňující obrázky
> [color=#df0000]
## Základní statistické metody
### Co to je?
> Cílem odhadu je určení neznámého parametru náhodné veličiny $X$ na základě informace obsažené ve výběrovém souboru (a.k.a.: realizací náhodné veličiny, datasetu). Zajímá nás především hodnota a přesnost odhadu.
> [color=#0000df]
### Bodový odhad
:book: https://homel.vsb.cz/~kra0220/tutorialy_sta/t5_odhady_testy.pdf
<!-- :book: https://k101.unob.cz/~neubauer/pdf/bodovy_odhad.pdf -->
<!-- :book: https://www.fi.muni.cz/~xtran1/bod_odhad.pdf -->
> Parametr odhadujeme pomocí jedné jediné hodnoty. Která se snaží danou hodnotu aproximovat.
> [color=#0000df]
> [color=#00df00]
> 
> 
> Statistika je odhadem:
> * nestranným(unbiased) -- pokud pro všechny vektory neznámých parametrů $\theta$ platí že střední (expected) hodnota statistiky $E_{\theta}T_n$ je rovna $\gamma(\theta)$.
> * kladně vychýleným -- pokud $E_{\theta}T_n > \gamma(\theta)$
> * záporně vychýleným -- pokud $E_{\theta}T_n < \gamma(\theta)$
> * asymptoticky nestranným -- pokud $\lim_{n\to\infty}E_{\theta}T_n = \gamma(\theta)$
> 
> * výběrový rozptyl - nestranný a konzistentní
> * výběrový průměr - nestranný a konzistentní ($E(X_{i})$ je reálný průměr)
> 
Střední kvadratická chyba = Mean Squared Error (MSE), viz níže.
> 
> 
> 
> [color=#df0000]
---
### Intervalový odhad
:book: https://k101.unob.cz/~neubauer/pdf/intervalovy_odhad.pdf
> Parametr odhadujeme pomocí intervalu, který ho s velkou pravděpodobností obsahuje. Délka intervalu vypovídá o přesnosit odhadu.
> [color=#0000df]
> [color=#00df00]
> <u>Interval spolehlivosti</u> (konfidenční interval) pro parametr $\theta$ se spolehlivostí $1 - \alpha$, kde $\alpha \in [0,1]$, je dvojice statistik $(T_d(\mathbf{X}), T_h(\mathbf{X}))$ taková, že
> $P(T_d(\mathbf{X}) \leq \theta \leq T_h(\mathbf{X})) = 1 - \alpha$.
>
> * <u>Intervalový odhad</u> je konkrétní realizace intervalu spolehlivosti.
> * Koeficient $\alpha$ nazýváme <u>hladinou významnosti</u>.
> * Pro <u>oboustranný intervalový odhad</u> platí $P(\theta \leq T_d(\mathbf{X})) = P(\theta \geq T_h(\mathbf{X})) = \frac{\alpha}{2}$
> * Pro <u>levostranný (dolní) intervalový odhad</u> platí $P(T_d(\mathbf{X}) \leq \theta) = 1 - \alpha$
> * Pro <u>pravostranný (horní) intervalový odhad</u> platí $P(\theta \leq T_h(\mathbf{X})) = 1 - \alpha$
> 
> [color=#df0000]
#### Tvorba intervalového odhadu
> 1. Zvolíme vhodnou výběrovou charakteristiku $T(\mathbf{X})$ jejíž rozdělení závislé na $\theta$ známe.
> 2. Určíme $\alpha$ a kvantily $t_{\frac{\alpha}{2}}$ a $t_{1-\frac{\alpha}{2}}$ z $T(\mathbf{X})$
> 3. Stanovíme meze pro $\theta$ z podmínky $t_{\frac{\alpha}{2}} \leq T(\mathbf{X}) \leq t_{1 - \frac{\alpha}{2}}$
> 4. Profit!
> [color=#00df00]
> Intervalový odhad střední hodnoty $\mu$ normálního rozdělení s neznámým rozptylem se spolehlivostí 0.95. Máme vzorek velikosti $n$ s výběrovým průměrem $\bar{X}$ a výběrovým rozptylem $S^2$.
> 1. Statistika $T(\mathbf{X}) = \frac{\bar{X} - \mu}{S}\sqrt{n}$
> 2. Z vlastností Studentova rozdělení víme: $T(\mathbf{X}) \sim t(n-1)$
> 3. Dosadíme: $P(t_{\frac{\alpha}{2}}(n-1) \leq \frac{\bar{X} - \mu}{S} \sqrt{n} \leq t_{1 - \frac{\alpha}{2}}(n-1)) = 0.95$
> 4. Využijeme $t_{\frac{\alpha}{2}}(n-1) = -t_{1-\frac{\alpha}{2}}(n-1)$, tedy: $P(\underline{-t_{1-\frac{\alpha}{2}}(n-1)} \leq \frac{\bar{X} - \mu}{S} \sqrt{n} \leq t_{1 - \frac{\alpha}{2}}(n-1)) = 0.95$
> 5. Vytáhneme vše z prostředku: $P(\bar{X}-\frac{S}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1) \leq \mu \leq \bar{X}+\frac{S}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1)) = 0.95$
> [color=#df0000]
---
### Testování hypotéz
:book: https://k101.unob.cz/~neubauer/pdf/testy_hypotez2.pdf
:book: https://www.fi.muni.cz/~xtran1/test_stat.pdf
> Cílem testování hypotéz je ověřit, zda data nepopírají předpoklad (hypotézu).
> [color=#0000df]
>
> [color=#0000df]
> <u>Nulová hypotéza $H_0$</u> je stanovisko, které jsme ochotni akceptovat, pokud data hypotézu nevyvrátí (nezamítáme)
> <u>Alternativní hypotéza $H_1$</u> je zamítnutí $H_0$ (zamítáme)
> [color=#00df00]
> P-value je nejmenší hladina testu, při které bychom ještě hypotézu $H_0$ zamítli. Většinou to je tabulková hodnota.
> *Alternativně:* P-hodnota je pravděpodobnost, že při platnosti $H_{0}$ nabývá testovcí statistika $T$ své stávající hodnoty anebo hodnot ještě extrémnějších (nepříznivějších vůči $H_{0}$). Tuto pravděpodobnost lze také přímo spočítat, pokud známe distribuční funkci testovací statistiky a je velmi užitečné si to zkusit odvodit na jednoduchém příkladu.
> [color=#00df00]
#### Chyby v testování hypotéz
> <u>Chyba 1. typu</u> je chyba kdy zamítneme $H_0$ přestože platí; $P(Nastane\_chyba\_1.\_typu) = \alpha$.
> <u>Chyba 2. typu</u> je chyba kdy nezamítáme $H_0$ přestože neplatí; $P(Nastane\_chyba\_2.\_typu) = \beta$; kde $\beta$ závisí od použitého testu.
> [color=#00df00]
> [color=#df0000]
> | | $H_0$ platí | $H_1$ platí |
> | -------- | -------- | -------- |
> | Zamítnu $H_0$ | :x: Chyba 1. typu | :heavy_check_mark: OK |
> | Nezamítnu $H_0$ | :heavy_check_mark: OK | :x: Chyba 2. typu |
>
>
> 
> [color=#df0000]
#### Postup při testování
> 1. Konstrukce hypotéz
> 2. Kontrola předpokladů
> 3. TODO
> [color=#00df00]
## ANOVA
>ANalysis Of VAriance (ANOVA) je parametrickým testem testujícím zda na hodnotu náhodné veličiny má statisticky významný vliv hodnota některého znaku, který se u náhodné veličiny dá pozorovat.
> [color=#0000df]
## Jednofaktorová ANOVA
> Jednofaktorová ANOVA pracuje pouze s jedním faktorem a je založená na porovnání modelu $M_0$ (bez vlivu skupin) a modelu $M_1$ (s vlivem skupin). Rozdíl modelů se určuje pomocí testové statistiky, která se řídí Fisherovým rozdělením pravděpodobnosti $F(a-1, n-a)$ pokud je model $M_0$ správný. Proto stačí ověřit zda se řídí dle F-rozdělení.
Tedy, $H_0$ je zamítnuta v případě, že $P(F_{1-\alpha}(a-1,n-a) \geq F_A) \lt \alpha$.
> [color=#0000df]
> > Výpočet $F_A$ je dole v tabulce a je založen na podílu MSE skupin a reziduí
> Model $= M_1 : Y_{ij} = \mu + \alpha_i + \epsilon_{ij}$
> [color=#00df00]
> > $\alpha_i$ je efekt i-tého faktoru; $\epsilon_{ij}$ jsou rezidua j-tého prvku i-té skupiny
> Nulový model $= M_0 : Y_{ij} = \mu + \epsilon_{ij}$
> $H_0$: Všechny střední hodnoty skupin jsou stejné. $\Leftrightarrow \alpha_1 =\ ...\ = \alpha_a = 0$
> $H_1$: Existuje skupina která má odlišnou střední hodnotu. $\Leftrightarrow \exists i \in \{1,\ ...,\ a\}: \alpha_i \ne 0$
> [color=#00df00]
#### Předpoklady
> 1. Nezávislost výběrů (Např. že nejsou korelovaná -- [testy závislosti](https://www.fd.cvut.cz/personal/nagyivan/Statistika/P09web.pdf))
> 2. Normalita výběrů (Data mají normální rozdělení -- [testy normality](https://www.csq.cz/fileadmin/user_upload/Spolkova_cinnost/Odborne_skupiny/Statisticke_metody/sborniky/2006/05_-_12_-_Testy_normality.pdf))
> 3. Homogenita rozptylů (+/- stejný rozptyl -- [F-test](https://portal.matematickabiologie.cz/index.php?pg=aplikovana-analyza-klinickych-a-biologickych-dat--biostatistika-pro-matematickou-biologii--testovani-hypotez-o-kvantitativnich-promennych--testy-o-parametrech-dvou-rozdeleni--test-o-shodnosti-homogenite-rozptylu-dvou-nezavislych-vyberu-f-test))
> [color=#00df00]
#### Výpočet testovací hodnoty $F_A$
> [color=#00df00]
> | Zdroj variability | Součet | Stupně volnosti | Podíl | $F_A$ | p-value |
> | -------- | -------- | -------- | -------- | -------- | -------- |
> | Skupiny | $SS_A$ | $df_A = a-1$ | $MSE_A = \frac{SS_A}{df_A}$ | $F_A=\frac{MSE_A}{MSE_e}$ | $P(F \geq F_A)$ |
> | Rezidualní | $SS_e$ | $df_e = n-a$ | $MSE_e = \frac{SS_e}{df_e}$ | --- | --- |
> | Celkový | $SS_T$ | $df_T = n-1$ | --- | --- | --- |
>
> * $SS_A = \sum^a_{i=1} n_i(\bar{Y}_{i*} - \bar{Y}_{**})^2$
> * $SS_e = \sum^a_{i=1} \sum^{n_i}_{j=1} (\bar{Y}_{ij} - \bar{Y}_{i*})^2$
> * $SS_T = SS_A + SS_e$
>
> > $SS$ - Sum of Squares
> > $df$ - degrees of freedom
> > $MSE$ - Mean Square Error
> [color=#df0000]
> Příklad: Máme pole 3 řadami brambor; V každé řadě je jiná odrůda; Zkoumáme jestli se mají odrůdy různou výnosnost.
>
>**Nulový model $M_0$**
>
>
## Dvoufaktorová ANOVA
> Dvoufaktorová ANOVA pracuje se dvěma faktory.
> [color=#0000df]
> Máme 3 pole se 3 řadami brambor; Každé pole je jinde; Každý řádek má jinou odrůdu; Zkoumáme jestli mají odrůdy nebo umístění pole vliv na výnosnost.
> [color=#0000df]
### Bez interakcí
> Pro ověření každého faktoru zvlášť, stačí porovnat kompletní model M se submodely bez vlivu dané faktoru ($M_A$, $M_B$). Pro ověření vlivu obou faktorů zároveň, je potřeba porovnat jeden ze submodelů s modelem $M_0$. Pro postupné testování se volí ze dvou cest $M \rightarrow M_A \rightarrow M_0$, nebo $M \rightarrow M_B \rightarrow M_0$, protože jsou ekvivalentní a úplný.
> [color=#0000df]
> $H_{A0}$: Všechny střední hodnoty v řádcích jsou stejné, faktor A je neovlivňuje.
> $H_{A1}$: Existuje dvojice lišících se středních hodnot v řádcích, faktor A má vliv.
> $H_{B0}$: Všechny střední hodnoty v sloupcích jsou stejné, faktor B je neovlivňuje.
> $H_{B1}$: Existuje dvojice lišících se středních hodnot v sloupcích, faktor B má vliv.
> [color=#00df00]
> Model $M:$ $Y_{ijk} = \mu + \alpha_i + \beta_j + \epsilon_{ijk}$
> Model $M_A: Y_{ijk} = \mu$ $+$ $\beta_j + \epsilon_{ijk}$
> Model $M_B: Y_{ijk} = \mu + \alpha_i$ $+$ $\epsilon_{ijk}$
> Model $M_0: Y_{ijk} = \mu$ $+$ $\epsilon_{ijk}$
> [color=#00df00]
#### Předpoklady
Stejné jako u oneway ANOVA
#### Výpočet testovacích hodnot
> 
> [color=#00df00]
> > Vyfoceno ze slidů - používá zjednodušenou notaci S == SS, MS == MSE
### S interakcemi
> U ANOVY s interakcemi se ještě bere do úvahy ovlivnění jednoho faktoru tím druhým, např. každá odrůda brambor může růst jinak v jiných podmínkách. Vše zůstává stejné jen se přidá o hypotézu, model a krok navíc. Tedy: $M_+ \rightarrow M \rightarrow M_B \rightarrow M_0$.
> [color=#0000df]
> $H_{+0}: \lambda_{ij} = 0,$ $i = 1,\dots,a,$ $j=1,\dots,b$
> [color=#00df00]
> Model $M_+:$ $Y_{ijk} = \mu + \alpha_i + \beta_j + \lambda_{ij} + \epsilon_{ijk}$
> [color=#00df00]
#### Předpoklady
Stejné jako u oneway ANOVA
#### Výpočet testovacích hodnot
> 
> [color=#00df00]
> > Vyfoceno ze slidů - používá zjednodušenou notaci S == SS, MS == MSE
## Neparametrické testy
> Motivací je fakt, že pro parametrické testy je třeba splnit podmínky (normalita, homogenita, ...). Avšak nevýhodou neparametrických je slabší test. Tedy zamítnutí $H_0$ je méně pravděpodobné. Probírané testy na Stat II jsou pořádové testy.
> [>>> Super video na neparametricke testy <<<](https://www.youtube.com/watch?v=IcLSKko2tsg)
> [color=#0000df]
> 
> [color=#00df00]
> 
> [color=#df0000]
### Znaménkový (Sign) test
> Znaménkový test testuje zda vybrané číslo $x_0 \in {\rm I\!R}$ je mediánem $\tilde{x}$ náhodného výběru z rozdělení spojitého typu. Tj.: $P(X_i \lt \tilde{x}) = P(X_i \gt \tilde{x}) = \frac{1}{2},$ $i = 1, ..., n$. Kýžené statistiky dosahuje tím, že počítá počet veličin větších/menších než $x_0$. Proto sign test, protože počítá ty veličiny co mají jedno ze znamínek po odečtení $x_0$. Používá se jako neparametrická varianta t-testu.
> [color=#0000df]
> $H_0: \tilde{x} = x_0$
> $H_1: \tilde{x} \ne x_0$
> $S^+ = |\{i: X_i > x_0\}|$
> [color=#00df00]
> >
>
> [color=#df0000]
### předpoklad
> jelikož se testuje dle U statistky tak, je potřeba alespoň 20 vzorků
> [color=#00df00]
---
> 
> [color=#00df00]
---
> 
> [color=#00df00]
---
> 
> [color=#df0000]
### Jednovýběrový Wilcoxonův test (signed-rank test)
> Je neparametrickou alternativou k t-testu. Narozdíl od sign testu využívá k výpočtu pořadí uspořádaného náhodného vektoru. V případě že nejsou splněny předpoklady, doporučuje se užití sign testu.
> [color=#0000df]
> $H_0: \tilde{x} = x_0$
> $H_1: \tilde{x} \ne x_0$
> [color=#00df00]
#### Výpočet
>[color=#00df00]
> 1. Nejprve se spočítají rozdíly testovaného mediánu $Y_i = X_i - x_0$.
> 2. Ty se seřadí do neklesající posloupnosti dle absolutních hodnot: $|Y|_{(1)} \leq |Y|_{(2)} \leq ... \leq |Y|_{(n)}$, kde pořadí veličiny $|Y_i|$ je značeno $R_i^+$
> 3. Spočítáme sumy pořadí menších a větších čísel než $x_0$:
> $S^+ = \sum_{Y_i\gt0}R^+_i$, $S^-= \sum_{Y_i\lt0}R^+_i$
> 4. a) Ověříme podle kritické hodnoty Wilcoxonova testu $w_{\alpha}(n)$, kde zamítáme $H_0$ pokud $min\{S^+,S^-\} \leq w_{\alpha}(n)$.
> > Při levostranném $S^+\leq w_{\alpha}(n)$, pravostranném $S^-\leq w_{\alpha}(n)$
> 4. b) Nebo ověříme pomocí asymptotické varianty:
> 
#### Předpoklad
> Předpokládá se náhodný výběr z rozdělení pravděpodobnosti spojitého typu s hustotou $f(x)$, která je symetrická kolm mediánu $\tilde{x}$.
> Předpokládáme že žádná ze složek $X_1, ..., X_n$ není rovna testovanému mediánu $x_0$.
>[color=#00df00]
### Dvouvýběrový Wilcoxonův test (signed-rank test) (Mannův-Whitneyův-Wilcoxonův test)
> Je neparametrickou alternativou k two way ANOVA.
> Je založen na porovnání dvou stochasticky nezávislých náhodných výběrů F(x), G(y).
> Oba výběry jsou sdruženy do společného výběru $(Z_1,...,Z_{m+n}) = (X_1,...,X_{m}, Y_1,...,Z_{n})$
> ten se seřadí jako u jednovýběrového Wilcox testu
> $|Z|_{(1)} \leq |Z|_{(2)} \leq ... \leq |Z|_{(n)}$
> A následně jsou spočítány statistiky pro jednotlivé výběry F a G oproti jednovýběrovému kde jsme vytvořily dvě poloviny:
> [color=#0000df]
>
>
>[color=#00df00]
> $H_0: G(x) = F(x)$
> $H_1: G(x) = F(x-\Delta)$ -- je prokázané že umí rozlišit jen případy kdy je posunuto o $\Delta$ pokud toto není splněno, tak se má použít Kolmogorův-Smirnovův test.
>[color=#00df00]
#### Předpoklady:
> Stochasticky nezávislé dva výběry (jako ANOVA)
> Veličiny jsou alespoň ordinální a jsou ze spojitých rozdělení
>[color=#00df00]
> 
> [color=#df0000]
### Van der Waerdenův test
> Testuje zda dva nezávislé náhodné výběry pochází ze stejného rozdělení, tj.: $G(x) = F(x-\Delta)$. Je podobný jako wilcox, ale používá pořadí pouze X-ového výběru.
>[color=#0000df]
> $H_0: \Delta = 0$
> $H_1: \Delta \ne 0$

>[color=#00df00]
### Mediánový test
> Testuje zda dva nezávislé náhodné výběry pochází ze stejného rozdělení, tj.: $G(x) = F(x-\Delta)$
> Počítá statistiku z počtu veličin z X-ového náhodného výběru, kreré jsou větší než medián sdruženého výběru.
>[color=#0000df]
> $H_0: \Delta = 0$
> $H_1: \Delta \ne 0$
>[color=#00df00]
> 
>[color=#00df00]
### Kruskalův-Wallisův test
Je neparametrickou analogií ANOVA a zároveň zobecnění dvouvýběrového Wilcoxova testu pro více než 2 náhodné výběry. Testuje hypotézu že faktor $A$ nemá vliv na rozdělení pravděpodobnosti sledované veličiny $Y$.
#### Předpoklady
> [color=#00df00]
> * Uvažujeme jeden faktor $A$ s $a \geq 3$ úrovněmi
> * Pro každou úroveň $i,...,a$ faktoru $A$ máme náhodný výběr $(Y_{i1},...,Y_{in_i})$ náhodné veličiny alespoň ordinálního typu s distribuční funkcí $F_i(x)$
> * Tyto výběry jsou vzájemně stochasticky nezávislé
#### Hypotézy
>
> [color=#00df00]
>
>
> [color=#00df00]
## Mnohonásobná lineární regrese, autokorelace, multikolinearita.
### Mnohonásobná lineární regrese
> 
> [color=#0000df]
> 
> [color=#0000df]
#### Lineární regrese
>
> [color=#df0000]
#### Autokorelace
> 
> [color=#0000df]
> Příkladem užití může být regrese početního stavu ptactva v čase. Kde hodnota v čase t je závislá na hodnotě v čase t-1.
> Test výskytu AR(1) testuje Durbinův-Watsonův test
> $H_0: \theta = 0$
> [color=#00df00]
> AR(1) se řeší pomocí Cochranova-Orcuttovy metody
> [color=#00df00]
#### Multikolinearita
> Přesnou multikolinearitou se rozumí vzájemná lineární závislost vysvětlujících proměnných. Tj., pro alespoň jedno nenulové $c_j$ platí $c_1x_1 + ... + c_px_p = 0$.
> [color=#0000df]
> Multikolinearita v praxi znamená, že přibližně platí rovnice vyjadřující lineární kombinaci vysvětlujících proměnných. Tj., $\exists c_j : c_1x_1 + ... + c_px_p \simeq 0$. Vpřípadě silné multikolinearity je determinant informačnímatice $X'X$ blízký nule.
> [color=#0000df]
> Příčinou můžou být:
> 1. Nadbytečné proměnné -- řešení LASSO nebo postupná regrese;
> 2. Nesprávný výběr kombinací hodnot vysvětlujících proměnných -- řešení detekce;
> 3. Skutečný vztah vysvětlujících proměnných v rámci sledovaného jevu -- řešení PCA.
> [color=#0000df]
> Důsledkem přesné multikolinearity je neschopnost použití lin. reg. modelu.
> Důsledkem přibližné multikolinearity je <b>velký rozptyl a numerická nestabilita odhadů</b>.
> [color=#0000df]
> Detekce multikolinearity:
> 1. Variance Inflation Factors (VIF).
> 2. Korelační matice
> [color=#0000df]
> 
> [color=#df0000]
> 
> [color=#df0000]
>
#### Pearsnův korelační koeficient:
>
>[color=#df0000]
>$H_0:$ veličiny $X$ a $Y$ jsou lineárně nezávislé
>$H_1:$ veličiny $X$ a $Y$ jsou lineárně závislé
## Analýza hlavních komponent (Principal component analysis [PCA])
> Statistická metoda pro snížení dimenze proměnných a odstranení multikolinearity.
> [color=#0000df]
> Metoda využívá ortogonalizace báze vektorového prostoru původních náhodných veličin.
> Nové bázové náhodné veličiny (hlavní komponenty) jsou nekorelované.
> Jednotlivé hlavní komponenty jsou hledány postupně tak, aby vysvětlily co největší část celkové variability (rozptyl) dat pomocí co nejnižšího počtu nových náhodných veličin.
> Hlavní komponenty jsou tvořeny lineární kombinací původních atributů.
> [color=#0000df]
> 
> [color=#0000df]
> Pro rozklad kovariační matice $\Sigma$ a výpočet vlastních hodnot a vektorů, které jsou základem pro PCA se často používá Singular Value Decomposition (SVD).
> [color=#0000df]
> 
> [color=#df0000]