OCVX : La differentielle (le retour)

La differentielle en TOP-DOWN

La semaine derniere, vous avez cherche a generaliser la notion de derivabilite d'une fonction

$\varphi :\mathbb{R}\to \mathbb{R}$ a celle de differentiabilite d'une fonction

$f:{\mathbb{R}}^n\to \mathbb{R}$.

Le point de vue aborde: on sait deriver le long d'un vecteur

$v\in {\mathbb{R}}^n$, cad qu'on sait deriver la fonction

$$\begin{gathered} t\mapsto f(\stackrel{\text{le pt qu'on} \\ \text{cherche a deriver}}{\overbrace{a}}+tv) \end{gathered}$$

A partir de la on cherche a construire un objet multidimensional qui va remplacer la derivee dans le cas unidimensionnel.

On sait deriver une fonction de

$\mathbb{R}\to \mathbb{R}$

$\to$ On sait donc deriver une fonction de

${\mathbb{R}}^n\to \mathbb{R}$ le long d'un vecteur

$v$ (en particulier le long des axes).

$\to$ On regroupe les derivees le long des axes dans un objet qu'on appelle le gradient

$\to$ Definition de la differentielle en un point

C'est la demarche BOTTOM-UP

Aujourd'hui

On va generaliser la notion de derivabilite d'une fonction de

$\mathbb{R}\to \mathbb{R}$ a l'aide des normes sur

${\mathbb{R}}^n$

$\to$ Analyser "l'objet differentiel" qu'on obtient et decrire une partie des proprietes qu'il a

$\to$ retrouver les derivees partielles comme ecriture en coordonnnees de la differentielle en un point

C'est la demarche TOP-DOWN

Rappel sur

$\mathbb{R}$

Etant donne une fonction

$\varphi :\mathbb{R}\to \mathbb{R}$ on dit que

$\varphi$ est derivable en

$a\in \mathbb{R}$ si

$$\underset{h\to a}{lim}\frac{\varphi (a+h)-\varphi (a)}{h}$$ existe. Dans ce cas cette limite est appelee le nombre derivee de

$\varphi$ en

$a$ et on le note

${\varphi }^{\prime }(a)$

De maniere equivalente

$\varphi$ est derivable en

$a$ s'il existe un nombre reel

$\alpha$ tel que pour

$h$ assez petit (h proche de 0)

$$\varphi (a+h)=\varphi (a)+\alpha h+h\underset{\begin{array}{rl}\epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}$$

Dans ce cas

$\alpha$ est le nombre derivee de

$\varphi$ en

$a$ et on le note

${\varphi }^{\prime }(a)$

Dans

$\mathbb{R}$: si

$\varphi$ est derivable en

$a$ alors

$$\mathrm{\forall }h\text{ assez petit}\varphi (a+h)=\varphi (a)+{\varphi }^{\prime }(a)h+h\epsilon (h)$$

Proposition d'extension au cas d'une fonction

$f:{\mathbb{R}}^n\to \mathbb{R}$

f est differentiable en

$a$ si

$$\mathrm{\forall }\underset{\in {\mathbb{R}}^n}{\underbrace{h}}\underset{\mathrm{\exists }\eta >0\text{ tq }h\in \mathcal{B}(0,\eta )}{\underbrace{\text{ assez petit}}}f(a+h)=f(a)+\stackrel{\text{lineaire en }h}{\overbrace{{\lambda }_a(h)}}+\Vert h\Vert \stackrel{\text{pas lineaire en }h}{\overbrace{\underset{\begin{array}{rl}\epsilon :{\mathbb{R}}^n& \to \mathbb{R}\\ \epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}}}$$

$h$ varie de tel sorte a ce qu'on reste dans la boule

$\mathcal{B}(0,\eta )$

Definition: une fonction

$f:{\mathbb{R}}^n\to \mathbb{R}$ est differentiable en un point

$a\in {\mathbb{R}}^n$ s'il existe une application lineaire

${\lambda }_a:{\mathbb{R}}^n\to \mathbb{R}$ telle que

$$\mathrm{\forall }h\text{ assez petit}:f(a+h)=f(a)+{\lambda }_a(h)+\Vert h\Vert \underset{\begin{array}{rl}\epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}(D_1)$$

On ne precise pas la norme car elles sont equivalentes.

Question: Pour

$f$ donne, combien y a-t-il d'applications lineaires qui satisfait

$D_1$ ?
Il n'y a qi'une seule, qu'on appelle la differentielle en

$a$.

Lemme: Si

${\lambda }_a$ existe, elle est unique.

Preuve

On suppose qu'il existe 2 applications lineaires

${\lambda }_a$ et

${\mu }_a$ qui satisfont

$(D_1)$, cad

$$\begin{gathered} \begin{array}{rl}\mathrm{\forall }h\text{ assez petit}:f(a+h)& =f(a)+{\lambda }_a(h)+\Vert h\Vert {\epsilon }_1(h)\\ -f(a+h)& =f(a)+{\mu }_a(h)+\Vert h\Vert {\epsilon }_2(h)\\ \stackrel{\text{On va montrer que} \\ \text{c'est l'app lineaire nulle}}{\overbrace{\underset{\text{Une app lineaire en }h}{\underbrace{({\lambda }_a-{\mu }_a)}}}}(h)& =\Vert h\Vert (\underset{\begin{array}{rl}\epsilon :{\mathbb{R}}^n& \to \mathbb{R}\\ \epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{{\epsilon }_1(h)-{\epsilon }_2(h)}})\end{array} \end{gathered}$$

On est dans la situation suivante:

$$\mathrm{\forall }h\in \mathcal{B}(0,\eta )\text{ pour }\eta >0\underset{\text{lineaire}}{\underbrace{\psi }}(h)=\Vert h\Vert \underset{\begin{array}{rl}\epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}$$

Demonstration: Ma

$\psi$ est nulle

On va prendre un vecteur

$$\stackrel{\Vert v\Vert =1}{\overbrace{v\in {\mathbb{R}}^n}}$$, soit

$t\in ]-\eta ,\eta [$ (donc

$tv\in \mathcal{B}(0,\eta )$)

On a:

$$\begin{array}{rl}\psi (tv)=\Vert tv\Vert \epsilon (tv)& \iff t\psi (v)=\Vert t\Vert \Vert v\Vert \epsilon (tv)\\ & \iff signe(t)\frac{\psi (v)}{\Vert v\Vert }=\epsilon (tv)\end{array}$$

Si on se limite a

$t\in [0,\eta [$, on a

$\frac{\psi (v)}{\Vert v\Vert }=\epsilon (tv)$

Dans la relation

$$\begin{gathered} \mathrm{\forall }t\in [0,\eta ]\frac{\psi (v)}{\underset{\text{constant}}{\underbrace{\Vert v\Vert }}}=\underset{\begin{array}{rl}\epsilon (tv)& \to 0\\ t& \mapsto 0\end{array}}{\underbrace{\epsilon (tv)}} \\ \Rightarrow \psi (v)=0 \end{gathered}$$

Etant donne un vecteur

$v\in {\mathbb{R}}^n$,

$\Vert v\Vert =1$,

$\psi (v)=0$.
En particulier,

$\mathrm{\forall }i\in \{1,...,n\}$;

$\psi (e_i)=0$
Donc la matrice de

$\psi$ dans la base canonique est nulle, i.e.

$\psi =0$

Donc

${\lambda }_a={\mu }_a$

Definition: On appelle differentielle de

$f:{\mathbb{R}}^n\to \mathbb{R}$ au point

$a$, l'unique application lineaire (si elle existe) qui satisfait:

$$D_{abs}:f(a+h)=f(a)+Df(a)(h)+\Vert h\Vert \underset{\begin{array}{rl}\epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}$$

Dans ce contexte,

$Df(a)$ a une matrice dans la base canonique de taille

$(1,n)$

Exemple

1.On note

$$\begin{array}{rl}f:{\mathbb{R}}^n& \to \mathbb{R}\\ h& \to \underset{A\text{ est une matrice ligne}}{\underbrace{A}}h+n\end{array}$$

$$\begin{gathered} \begin{array}{rl}f(a+h)& =A(a+h)+b\\ & =Aa+Ah+b\\ & =(\underbrace{Aa+b})+Ah\\ & =f(a)+\underset{\text{lineaire en }h}{\underbrace{Ah}}+\underset{\Vert h\Vert \epsilon (h) \\ \epsilon \text{ est nul la}}{\underbrace{o}}\end{array} \end{gathered}$$

D'apres la definition:

$$\begin{gathered} Df(a)(h)=Ah \\ Df(a):h\to Ah \end{gathered}$$

$$\begin{gathered} f:{\mathbb{R}}^n\to \mathbb{R} \\ x\to x^{T}x \\ \begin{array}{rl}f(a+h)& =(a+h{)}^T(a+h)\\ & =aTa+h^{T}a+a^{T}h+\stackrel{\Vert h{\Vert }_2\Vert h{\Vert }_2}{\overbrace{h^{T}h}}\\ & =f(a)+\underset{\text{lineaire en }h}{\underbrace{2a^{T}h}}+\Vert h\Vert \epsilon (h)\end{array} \end{gathered}$$

Definition (rappel):

$$\Vert h{\Vert }_2+\sqrt{h^{T}h}$$

Remarque:

$h^{T}a\in \mathbb{R}$,

$(h^{T}a{)}^T=h^{T}a\Rightarrow a^T{h}^{T^T}=a^{T}h$ car ce sont des reels.

Donc

$Df(a):h\to 2a^{T}h$

Dans le cas

$n=1$

$$\begin{array}{rl}f:x& \to x^2\\ Df(a):h& \mapsto Df(a)(h)\\ f^{\prime }(a)& =2a\end{array}$$

Proprietes usuelles

Les proprietes usuelles de derivabilites et de calcul des derivees s'etend au cas des fonctions de

${\mathbb{R}}^n\to \mathbb{R}$. Soient

$f,g:{\mathbb{R}}^n\to \mathbb{R}$ et

$a\in {\mathbb{R}}^n$, on suppose

$f,g$ differentiable en

$a$.

$$\begin{array}{rl}\mathrm{\forall }h\text{ AP}f(a+h)& =f(a)+Df(a)(h)+\Vert h\Vert {\epsilon }_1(h)\\ g(a+h)& =f(a)+Dg(a)(h)+\Vert h\Vert {\epsilon }_2(h)\\ (+):(f+g)(a+h)& =(f+g)(a)+(\underset{\text{lineaire en }h}{\underbrace{Df(a)+Dg(a)}})(h)+\Vert h\Vert (\underset{\epsilon (h)}{\underbrace{{\epsilon }_1(h)+{\epsilon }_2(h)}})\end{array}$$

$$D(f+g)(a)=Df(a)+Dg(a)$$

$$\begin{gathered} (\times ):(fg)(a+h)=(fg)(a)+f(a)Dg(a)(h)+g(a)Df(a)(h) \\ +Df(a)(h)Dg(a)(h)+ \\ \Vert h\Vert {\epsilon }_1(h)Dg(a)(h)+\Vert h\Vert {\epsilon }_2(h)Df(a)(h)+ \\ \Vert h{\Vert }^2{\epsilon }_1(h){\epsilon }_2(h)+\Vert h\Vert ({\epsilon }_1(h)g(a)+{\epsilon }_2(h)f(a)) \\ D(fg)(a)=f(a)Dg(a)+g(a)Df(a) \\ D(fg)(a):h\to f(a)Dg(a)(h)+g(a)Df(a)(h) \end{gathered}$$

Matrice ligne

La differentielle de

$f:{\mathbb{R}}^n\to \mathbb{R}$ en

$a$ quand elle existe est une matrice ligne: comment en decrire les coeffs ?

Definition(temporaire): Quand

$f$ est differentiable au point

$a$ on appelle gradient de

$f$ en

$a$ le vecteur

$v$ (colonne)

$\mathrm{\nabla }f(a)$ dont la transposee est la marice de

$Df(a)$ dans les bases canoniques

On a donc: pour tout

$h$ assez petit

$$f(a+h)=f(a)+\mathrm{\nabla }f(a{)}^{T}h+\Vert h\Vert \underset{\begin{array}{rl}\epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}}$$

On est interesse par calculer

$\mathrm{\nabla }f(a{)}^T{e}_i$

$\mathrm{\forall }i\in \{1,...,n\}$

Soit

$t\in \mathbb{R}$

$$\begin{gathered} f(a+t_{e_i})=f(a)+\mathrm{\nabla }f(a{)}^T(t{e}_i)+\Vert t{e}_i\Vert \epsilon (t{e}_i) \\ \iff f(a+t_{e_i})-f(a)=t\mathrm{\nabla }f(a{)}^T{e}_i+\Vert t{e}_i\Vert \epsilon (t{e}_i) \\ \frac{\iff f(a+t_{e_i})-f(a)}{t}=\mathrm{\nabla }f(a{)}^T{e}_i+\Vert e_i\Vert {\epsilon }^{\prime }(t{e}_i)t\ne 0 \\ \iff \mathrm{\nabla }f(a{)}^T{e}_i=\underset{{\to }_{t\to 0}\delta e_{i}f(a)=\frac{\delta }{\delta x_i}f(a)}{\underbrace{\frac{f(a+t{e}_i)}{t}}}-\underset{t\to 0 \\ \to 0}{\underbrace{\Vert e_i\Vert {\epsilon }^{\prime }(t{e}_i)}} \end{gathered}$$

En prenant la limite on vient de constater (avec la definition temporaire de

$\mathrm{\nabla }f(a)$) que

$\mathrm{\nabla }f(a{)}^T{e}_i=\frac{\delta }{\delta x_i}f(a)$

Cad que la ieme coordonnee de votre gradient c'est la derivee partielle par rapport a

$x_i$

Defintion: Le gradient d'une fonctino

$f$ en un point

$a\in {\mathbb{R}}^n$ c'est le vecteur

$v$ des derivees partielles:

$$\mathrm{\nabla }f(a)=(\frac{\delta f}{\delta x_i}(a){)}_{1\le i\le n}$$

Les definitions "temporaire" et definitives de gradient ne sont pas equivalentes: on peut admettre des derivees partielles sans etre differentiable

Prop: Si une fonction

$f:{\mathbb{R}}^n\to \mathbb{R}$ admet un gradient en un point

$a$, et si

$x\to \mathrm{\nabla }f(x)$ est continue au voisinage de

$a$, alors

$f$ est differentiable en

$a$, cad qu'on peut ecrire

$$\begin{gathered} \mathrm{\forall }h\text{ assez petit} \\ f(a+h)=f(a)+\mathrm{\nabla }f(a{)}^{T}h+o_a(h) \end{gathered}$$

Remarque: si

$f$ est differentiable en

$a$:

$$\begin{gathered} \underset{\text{derivee directionnelle de }f \\ \text{en }a\text{ le long de }v}{\underbrace{{\delta }_{v}f(a)}}=\mathrm{\nabla }f(a{)}^{T}v \end{gathered}$$

Derivee d'une composee

Pour parler de composee on va generaliser un petit peu le cadre avec lequel on a travaille jusque la.
On s'interesse donc aux fonctions

$$f:{\mathbb{R}}^n\to {\mathbb{R}}^n$$

On note

$f_1,...,f_n$ les fonctions coordonnees de

$f$,

$f=(f_1,...,f_n)$

Exemple

$$\begin{array}{rl}g:{\mathbb{R}}^2& \to {\mathbb{R}}^3\\ (x,y)& \mapsto \left(\begin{array}{c}\cos (xy)\\ x^2+y\\ 2y\end{array}\right)\\ g_1:{\mathbb{R}}^2& \to \mathbb{R}\\ (x,y)& \mapsto \cos (xy)\\ g_2:{\mathbb{R}}^2& \to \mathbb{R}\\ (x,y)& \mapsto x^2+y\\ g_3:{\mathbb{R}}^2& \to \mathbb{R}\\ (x,y)& \mapsto 2y\end{array}$$

Une fonction

$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ va etre dite differentielle si on a une ecriture:

$$\begin{gathered} f(a+h)=f(a)+\underset{\text{differentielle de }f \\ \text{en }a,\text{de matrice} \\ \text{dans les bases canoniques} \\ \text{de taille: }(m,n)}{\underbrace{Df(a)}}(h)+\underset{\text{une norme sur }{\mathbb{R}}^n}{\underbrace{\Vert h\Vert }}\underset{\begin{array}{rl}\epsilon :{\mathbb{R}}^n& \to {\mathbb{R}}^m\\ \epsilon (h)& \to 0\\ h& \mapsto 0\end{array}}{\underbrace{\epsilon (h)}} \end{gathered}$$

La matrice de

$\lambda f(a)$ dans les bases canoniques est appellee la jacobienne de

$f$ en

$a$.

$$\begin{gathered} J_f(a)=\left(\begin{array}{ccc}\frac{\delta f_1(a)}{\delta x_1}& \dots & \frac{\delta f_1(a)}{\delta x_n}\\ ⋮& \ddots & ⋮\\ \frac{\delta f_m(a)}{\delta x_1}& \dots & \frac{\delta f_m(a)}{\delta x_n}\end{array}\right) \\ =\left(\begin{array}{c}\mathrm{\nabla }{f}_1(a{)}^T\\ ⋮\\ \mathrm{\nabla }{f}_m(a{)}^T\end{array}\right) \\ =(\mathrm{\nabla }{f}_1(a),...,\mathrm{\nabla }{f}_m(a){)}^T \end{gathered}$$

Pour

$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ si on est differentiable en

$a\in {\mathbb{R}}^n$
On a

$\mathrm{\forall }h$ AP:

$$f(a+h)=f(a)+J_f(a)h+o_a(h)$$

Question:

Soit

$f,g$,

$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$,

$g:{\mathbb{R}}^m\to {\mathbb{R}}^p$, si

$f$ et

$g$ sont differentiable respectivement

$f$ en

$a$ et

$g$ en

$b=f(a)$ alors

$$D(g\circ f)(a)=Dg(f(a))\circ Df(a)$$

Matriciellement:

$$J_{g\circ f}(a)=J_g(f(a))\times J_f(a)$$