ASE3: Analyse en composantes principales

Donnees et leurs caracteristiques

Tableau des donnees

Les observations de

$p$ variables sur

$n$ individus sont regroupes en une matrice

$X$ a

$n$ ligned et

$p$ colonnes

$$\begin{gathered} X=\begin{array}{c}t{e}_1\\ ⋮\\ t{e}_i\\ ⋮\\ t{e}_n\end{array}\left(\begin{array}{ccccc}{X}^{(1)}& \dots & X^{(j)}& \dots & X^{(p)}\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ \dots & \dots & \text{color}red{X}_i^{(j)}& \dots & \dots \\ ⋮& ⋮& ⋮& ⋮& ⋮\\ \dots & \dots & \dots & \dots & \dots \end{array}\right) \\ t{e}_i=(X_i^{(1)},X_i^{(2)},\dots ,X_i^{(j)},\dots ,X_i^{(p)}) \\ {e}_i=\left(\begin{array}{c}{X}_i^{(1)}\\ ⋮\\ X_i^{(j)}\\ ⋮\\ X_i^{(p)}\end{array}\right) \end{gathered}$$

$$X_i^{(j)}$$ est la valeur prise par la variable

$X$ sur le ieme individu.

Matrice des poids

On associe a chaque indvidu un poids

$p_i\ge 0$ (probabilite de choisir l'individu)

$$\sum _{i=1}^n{p}_i=1,D=\left(\begin{array}{cccc}{p}_1& 0& \dots & 0\\ 0& p_2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & p_n\end{array}\right)$$

Si

$p_i=\frac{1}{n}\Rightarrow D=\frac{1}{n}{I}_n$ ou

$I_n$ matrice identite

$$\left(\begin{array}{cccc}1& 0& \dots & 0\\ 0& 1& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & 1\end{array}\right)$$

$\mathrm{\forall }i=1,\dots ,n$

Centre de gravite

La vecteur

$g$ des moyennes arithmetiques de chaque variable

$X^{(j)}$ est definie par

$g=({\overline{X}}^{(1)},{\overline{X}}^{(2)},\dots ,{\overline{X}}^{(p)})$

$${\overline{X}}^{(j)}=\sum _{i=j}^n{P}_i{X}_i^{(j)}\text{moyenne de }{X}^{(j)}\mathrm{\forall }j\in [1,p]$$

Le tableau des donnees centrees et la matrice Y telle que

$$Y_i^{(j)}=X_i^{(j)}-{\overline{X}}^{(j)}\mathrm{\forall }j\in [1,p],\mathrm{\forall }i\in [1,n]$$

Matrice de variance-covariance et matrice de correlation

Definition:
On appelle matrice de variance-covariance:

$$V=Y^{T}DY$$

:::

Si on note

$D_{\frac{1}{S}}$ la matrice diagonale des inverses des ecarts-types:

$$D_{\frac{1}{S}}=\left(\begin{array}{ccc}\frac{1}{S_1}& \dots & 0\\ ⋮& \ddots & ⋮\\ 0& \dots & \frac{1}{S_p}\end{array}\right)$$

ou:

• $s_j=\sqrt{V(X^{(j)})}=(\sum _{i=1}^n{p}_i(X_i^{(j)}-{\overline{X}}^j{)}^2)$
• $V(X^{(j)})$: variance de
  $X^{(j)}$
• $S_j$: ecart-type de
  $X^{(j)}$

On appelle la matrice des donnees centrees et reduite:

$Z$ telle que:

$$Z_i^{(j)}=\frac{y_i^{(j)}}{S_j}$$

Matriciellement:

$$Z=Y\bullet D_{\frac{1}{S}}$$

La matrice regroupant les coefficients de correlation lineaire entre les

$p$ variables est

$R$:

$$\begin{gathered} R=\left(\begin{array}{ccc}1& \dots & p_{ij}\\ ⋮& \ddots & ⋮\\ p_{ij}& \dots & 1\end{array}\right)\text{symetrique} \\ {r}_{ij}=\underset{\text{coefficient de correlation}}{\underbrace{p_{ij}}}=\frac{Cov(X^{(i)},X^{(j)})}{S_i{S}_j} \end{gathered}$$

Ou:

$Cov(X^{(i)},X^{(j)})$: covariance

$$Cov(X^{(i)},X^{(j)})=\sum _{k=1}^n{p}_k\underset{\text{produit scalaire des variables centrees}}{\underbrace{y_k^{(i)}{y}_k^{(j)}}}$$

Remarque:

$$\begin{array}{rl}R& =D_{\frac{1}{S}}V{D}_{\frac{1}{S}}\\ & =D_{\frac{1}{S}}{Y}^{T}DY{D}_{\frac{1}{S}}\\ & \iff \text{color}red\boxed{{\displaystyle R=Z^{T}DZ}}\end{array}$$

Espaces des individus

Chaque individu etant un vecteur defini par

$p$ coordonnees est considere comme un element d'un espace vectoriel

$F$ appele l'espace des individus.
Les

$n$ individus forment alors un nuage de points dans

$F$ et

$g$ en est le barycentre (ou centre de gravite).

On munit l'espace

$F$ d'une metrique (distance):

$$\underset{\text{produit scalaire}}{\underbrace{<e_i,e_j>}}=e_i^{T}M{e}_j$$

ou:

$M$ est une matrice symetrique et definie positive (S.D.P)

Remarque: si

$M=I$ (matrice identite), on se retrouve avec le produit scalaire usuel.

Si

$$M=D_{\frac{1}{S^2}}=\left(\begin{array}{ccc}\frac{1}{S_1^2}& \dots & 0\\ & ⋮& \ddots & ⋮\\ 0& \dots & \frac{1}{S_p^2}\end{array}\right)$$ cela revient a diviser chaque caractere par son ecart-type.

Inertie

Definition:
On appelle inertie totale du nuage de points la moyenne ponderee des carres des distances des points au centre de gravite:

$$\begin{array}{rl}{I}_g& =\sum _{i=1}^n{p}_i(e_i-g{)}^{T}M(e_i-g)\\ & =\sum _{i=1}^n{p}_i\Vert e_i-g{\Vert }^3\end{array}$$

Proprietes de l'inertie

On peut montrer que l'inertie du nuage est egale a la trace de la matrice

$MV$:

$$I_g=Trace(MV)=Trace(VM)$$

Espace des variables

On note

$E$: l'espace des variables

$$X^{(j)}=\left(\begin{array}{c}{X}_i^{(j)}\\ ⋮\\ X_n^{(j)}\end{array}\right)$$

On munit

$E$ de la metrique

$M=D$ avec D la matrice des poids

$$\underset{\text{produit scalaire}}{\underbrace{<X^{(j)},X^{(k)}>}}=(X^{(j)}{)}^{T}D{X}^{(k)}$$

Si les variables sont centrees:

$$\begin{array}{rl}(X^{(j)}{)}^{T}D{X}^{(k)}& =\sum _{i=1}^n{p}_i{X}_i^{(j)}{X}_i^{(k)}\\ & =Cov(X^{(j)},X^{(k)})\end{array}$$

La norme de

$X^{(j)}$ (variable centree)

$$\begin{array}{rl}\Vert X^{(j)}{\Vert }^2& =<X_n^{(j)},X^{(j)}>\\ & =\sum _{i=1}^n{p}_i(X_i^{(j)}{)}^2=S_j^2\\ \Rightarrow \Vert X^{(j)}\Vert & =S_j\text{ecart-type}\end{array}$$

On mesure l'angle entre 2 variables

$X^{(j)}$ et

$X^{(k)}$ (centrees):

$$\begin{gathered} \cos (O_{jk})=\frac{<X^{(j)},X^{(k)}>}{\Vert X^{(j)}\Vert \Vert X^{(k)}\Vert }\text{similarite cosinus} \\ \text{color}red\boxed{{\displaystyle \cos (O_{jk})=\frac{Cov(X^{(j)},X^{(k)})}{S_j{S}_k}=p_{jk}}} \end{gathered}$$

On retrouve le coefficient de correlation lineaire.

Variables engendree par un tableau des donnees

$A$ une variable

$X^{(j)}$, on peut associer un axe de l'espace des individus

$F$ et un vecteur de l'espace des variable et on peut egalement deduire

$X^{(1)},X^{(2)},\dots ,X^{(j)},\dots ,X^{(p)}$ de nouvelles variables par combinaison lineaire.

Soit

$\mathrm{△}$ un axe de

$F$.

$\mathrm{△}$ est engendre par un vecteur unitaire

$a$

$$(a^T\underset{\text{metriques}}{\underbrace{M}}a=1)$$ et projetons les individus sur

$\mathrm{△}$ (projection

$M$-orthogonale)

$$\begin{array}{rl}{c}_i=a^{T}M{e}_i& =e_i^{T}Ma\\ & =<e_i,a>\text{produit scalaire}\end{array}$$

La liste des coordonnees

$c_i$ des individus sur

$\mathrm{△}$ forme une nouvelle variable artificielle

$C$

$$C=\left(\begin{array}{c}{C}_1\\ C_2\\ ⋮\\ C_n\end{array}\right)=X\underset{=u}{\underbrace{Ma}}=Xu$$

On pose

$u=Ma$: facteur

$$\Rightarrow C=Xu=\sum _{j=1}^p{u}_j{X}^{(j)}$$

Donc la nouvelle variable

$C$ est une combinaison lineaire des variables initiales.

L'ensemble des variables

$C$ que l'on peut engendrer par combinaison lineaire des vecteurs colonnes de

$X$ forme un sous-espace vectoriel (s.e.v.) de

$E$ de dimension

$\le p$

Remarque: Si

$M=I\Rightarrow u=a$

On suppose que les variables sont centrees (

$X=Y$) pour simplifier

Proposition:

$$V(C)=u^{T}Vu\text{variance de }C$$

:::

Demonstration:

$$\begin{array}{rl}V(C)& =c^{T}Dc\\ & =(Xu{)}^{T}DXu=u^T\underset{V}{\underbrace{X^{T}DX}}u\\ & \Rightarrow V(C)u^{T}Vu\end{array}$$

Le but de la methode est d'obtenir une representation approchee du nuage des

$n$ individus dans un s.e.v de dimension faible.

Ceci s'effectue par projection

Il faut deformer le moins possible les distances en projection, ce qui signifie que l'inertie du nuage projete sur le s.e.v.

$F_k$ soit maximale.

Soit

$P$: la projetction

$M$-orthogonale sur le s.e.v.

$F_k$

$$\begin{gathered} P{e}_i=f_i \\ {P}^2=P\text{et}{P}^{T}M=MP \end{gathered}$$

Le nuage projete est associe au tableau:

$X{P}^T$ car:

$$\underset{\text{vecteur colonne}}{\underbrace{f_i=P{e}_i}}\Rightarrow \underset{\text{vecteur ligne}}{\underbrace{f_i^T=e_i^T{P}^T}}$$

On determine la matrice de var-covariance du tableau

$X{P}^T$:

$$\begin{gathered} (X{P}^T{)}^{T}D(X{P}^T)\text{(les var sont centrees)} \\ =P{X}^{T}DX{P}^T \\ =\text{color}red\boxed{{\displaystyle PV{P}^T}} \end{gathered}$$

On determine l'inertie du nuage projete:

$Trace(PV{P}^{T}M)$

$$\begin{array}{rl}Tr(PV{P}^{T}M)& =Tr(PVMP)\\ & =Tr(VM{P}^2)\text{car }Tr(AB)=Tr(BA)\\ & =Tr(VMP)\end{array}$$

Donc l'inertie du nuage projete est

$Trace(VMP)$

Le probleme est donc de trouver

$P$: projection

$M-$orthogonale de rang

$k$ maximisant la trace de

$VMP$, ce qui determinera

$F_k$ (

$\text{dim }{F}_k=k$)

Theoreme

Theoreme:
Soit

$F_k$ un s.e.v. portant l'inertie maximale, alors le s.e.v. de dimension

$k+1$ portant l'inertie maximale est la somme directe de

$F_k$ et du s.e.v. de dimension 1

$M$-orthognal a

$F_k$ portant l'inertie maximale.

$$F_{k+1}=F_k+\underset{\text{dimension }1}{\underbrace{b\mathbb{R}}}$$

:::

Pour obtenir

$F_k$ on pourra proceder de proche en proche en cherchant d'abord le s.e.v. de dimension

$1$ d'inertie maximale puis le s.e.v. de dimension

$1$

$M-$orthogonal au premier d'inertie maximale.

On chercher la droite de

${\mathbb{R}}^2$ passant par

$g$, maximisant l'inertie du nuage projete sur cette droite, On rappelle la projection

$M$-orthogonale sur la droite dirigee par

$a$:

$$P=a(a^{T}Ma{)}^{-1}{a}^{T}M$$

Inertie du nuage projete sur cette droite:

$$\begin{gathered} \begin{array}{rl}Tr(VMP)& =Tr(VMa(a^{T}Ma{)}^{-1}{a}^{T}M)\\ & =\frac{1}{a^{T}Ma}Tr(VMa{a}^{T}M)\\ & =\frac{1}{a^{T}Ma}Tr(a^{T}MVMa)\\ & =\frac{a^{T}MVMa}{a^{T}Ma}\end{array} \\ \frac{d}{da}(\frac{a^{T}MVMa}{a^{T}Ma})=0\text{(*)} \end{gathered}$$

Rappel

$$\frac{d}{da}(\underset{\text{forme quadratique}}{\underbrace{a^{T}Aa}})=Aa+A^{T}a$$

Si

$A$ est symetrique:

$$\frac{d}{da}(a^{T}Aa)=2Aa$$

$$\begin{array}{rl}\text{(*)}& \Rightarrow \frac{(a^{T}ma)2MVMa-(a^{T}MVMa)2MA}{(a^{T}Ma{)}^2}=0\\ & \Rightarrow MVMa=(\frac{a^{T}MVMa}{a^{T}Ma})Ma\\ & \Rightarrow VMa=(\frac{a^{T}MVMa}{a^{T}Ma})a\\ & \Rightarrow \text{color}red\boxed{{\displaystyle VMa=\lambda a}}\text{avec }\lambda =\frac{a^{T}MVMa}{a^{T}Ma}\end{array}$$

Donc

$a$ est un vecteur propre de

$VM$ associe a

$\lambda$ (valeur propre).

Il faut que

$\lambda$ soit maximale.

Donc le s.e.v.

$F_k$ de dimension

$k$ est engendre par les

$k$ vecteurs propres de $VM associes aux

$k$ plus grandes valeurs propres.

On appelle composantes principales:

$$C^{(i)}=Y{u}^{(i)}{u}^{(i)}\text{: facteur}$$

:::

Si les variables initiales sont centrees alors

$C^{(i)}=X{u}^{(i)}$

$$V(C^{(i)})=\lambda i\mathrm{\forall }i$$

Qualites des representations sur les plans principaux

Le put de l'A.C.P. etant d'obtenir une representation des individus dans un espace de dimension plus faible que

$p$.

Le critere le plus utilise est celui du pourcentage d'inertie totale expliquee on mesure la qualite de

$F_k$ par:

$$\frac{{\lambda }_1+{\lambda }_2+\cdots +{\lambda }_k}{{\lambda }_1+{\lambda }_2+\cdots +{\lambda }_p}$$

Inertie totale:

$${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_p=I_{tot}$$

Si par exemple

$\frac{{\lambda }_1+{\lambda }_2}{I_{tot}}=90\mathrm{\%}$, on concoit qu'une representation du nuage dans le plan des 2 premiers axes principaux sera tres satisfaisante.

Correlations entre composantes principales et variables initiales

La methode la plus naturelle pour donner une signification a une composante principale

$C^{(i)}$ est de la relier aux variables

$X^{(j)}$ (variables intiales) en calculant les coefficients de correlation lineaire

$$p(X^{(j)},C^{(i)})$$

et en s'interessant aux plus forts coefficients en valeur absolue

$$p(X^{(j)},C^{(i)})=\frac{Cov(X^{(j)},C^{(i)})}{{\sigma }_{X^{(j)}}{\sigma }_{C^{(i)}}}$$

$$Cov(X^{(j)},C^{(i)})=<y^{(j)},C^{(i)}>\text{ou }{y}^{(j)}\text{ : var centree}$$