OCVX: espaces tangents

Dedramatiser les espaces tangents

Pour une fonction

$$\begin{array}{rl}f:\mathbb{R}& \to \mathbb{R}\\ x& \mapsto f(x)\end{array}$$

$$Gr(f)=\{(x,f(x)),x\in \mathbb{R}\}\subseteq {\mathbb{R}}^2$$

Une droite affine est un sous-espace de dimension 1

$$\begin{array}{rl}\text{color}red{\mathcal{T}}_{Gr(f),p}& =(a,f(a))+\text{color}red\underset{vect((1,f^{\prime }(a)))=span((1,f^{\prime }(a)))}{\underbrace{\{\lambda (1,f^{\prime }(a)),\lambda \in \mathbb{R}\}}}\\ & =\{((a+\lambda ),f(a)+\lambda f^{\prime }(a),\lambda \mathbb{R})\}\text{representation parametrique de }{\mathcal{T}}_{Gr(f),p}\end{array}$$

$Gr(f)$

$\to$ courbe

$y=f(x)\equiv$ courbe

$$\underset{g(x,y)}{\underbrace{f(x)-y}}=0$$

On va introduire

$$\begin{array}{rl}g:{\mathbb{R}}^2& \to \mathbb{R}\\ (x,y)& \mapsto f(x)-y\end{array}$$

$Gr(f)$

$\to$ courbe

$y=f(x)\equiv$ coubre

$$\underset{g(x,y)}{\underbrace{f(x)-y}}=0\equiv \{(x,y)\in {\mathbb{R}}^2,g(x,y)=0\}={\mathcal{C}}_0(g)$$

On passe a la courbe de niveau 0

Que vaut

$\mathrm{\nabla }g(p)$ ?

$$\begin{gathered} \mathrm{\nabla }g(x,y)=(\frac{\partial g}{\partial x},\frac{\partial g}{\partial y})=(f^{\prime }(x),-1) \\ \mathrm{\nabla }g(p=(a,f(a)))=(f^{\prime }(a),-1) \end{gathered}$$

On a trouve precedemment un vecteur directeur de l'espace tangent

$(1,f^{\prime }(a))$.

On obtient 2 vecteurs orthogonaux

$$\begin{gathered} \mathrm{\nabla }g(p=(a,f(a)))=(f^{\prime }(a),-1)\to \overrightarrow{n} \\ <\overrightarrow{n},\overrightarrow{u}>=0 \end{gathered}$$

Le gradient d'une fonction en un point donne est orthogonal aux lignes de niveau de cette fonction.

Cas general

Dans le cas general

$f:{\mathbb{R}}^n\to \mathbb{R}$

Notre "bol" est:

$$Gr(f)=\{(x,y,f(x,y)),(x,y)\in {\mathbb{R}}^2\}\subseteq {\mathbb{R}}^3$$

On veut calculer l'espace tangent dans un point donne de l'espace

On a deux directions de pentes

• Qu'est-ce qui se passe selon
  $x$ ?
  • Si on se deplace de
    $1$ en
    $x$,
    $\frac{\delta f}{\delta x}(x_0,y_0)$ en
    $z$
• Qu'est-ce qui se passe selon
  $y$ ?
  • Si on se deplace de
    $1$ en
    $y$,
    $\frac{\delta f}{\delta y}(x_0,y_0)$ en
    $z$

Zoomons au niveau du point

$p$:

Ces vecteurs generent l'espace tangent

$$\begin{array}{rl}{\mathcal{T}}_{Gr(f),p}& =p+vect(\underset{\in {\mathbb{R}}^3}{\underbrace{(\stackrel{e_x}{\overbrace{1,0}},\frac{\partial f}{\partial x}(x_0,y_0)}}),\underset{\in {\mathbb{R}}^3}{\underbrace{(\stackrel{e_y}{\overbrace{0,1}},\frac{\partial f}{\partial y}(x_0,y_0))}})\\ & =p+vect\underbrace{((e_x,\frac{\partial f}{\partial x}),(e_y,\frac{\partial f}{\partial y}))}\\ & \{\lambda (e_x,\frac{\partial f}{\partial x})+\mu (e_y,\frac{\partial f}{\partial y}),(\lambda ,\mu \in {\mathbb{R}}^2)\}\end{array}$$

Le vrai cas general

$f:{\mathbb{R}}^n\to \mathbb{R}$

• $n$ pertes
  $\frac{\partial f}{\partial x}$ selon chaque vecteur de base
  $e_i=(0,...0,1,...,0)$
• $n$ vecteurs de perte
  $$\underset{\in {\mathbb{R}}^{n+1}}{\underbrace{(\underset{\in {\mathbb{R}}^n}{\underbrace{e_i}},\frac{\partial f}{\partial x_i})}},i=1,...,n$$

$$\begin{gathered} {\mathcal{T}}_{Gr(f)}=vect((e,\frac{\partial f}{\partial x_1}),...,(e_n,\frac{\partial f}{\partial x_i}))\text{sous espace de dim }n\text{ d'un espace de dimension }n+1 \\ {T}_{Gr(f),p}=\{\lambda (e_1,\frac{\partial f}{\partial x_1})+...+{\lambda }_n(e_n,\frac{\partial f}{\partial x_n}),({\lambda }_1,...,{\lambda }_n)\in {\mathbb{R}}^n\} \end{gathered}$$

$Gr(f)=$ surface

$y=f(x_1,...,x_n)$

$$\begin{gathered} f(x_1,...,x_n)-y=0\equiv \{(x_1,...,x_n,y)\text{ tel que }\underset{g(x_1,...,x_n,y)}{\underbrace{f(x_1,...,x_n)-y}}=0\}={\mathcal{C}}_0(g) \\ \begin{array}{rl}g:{\mathbb{R}}^{n+1}& \to \mathbb{R}\\ (x_1,...,x_n,y)& \mapsto f(x_1,...,x_n)-y\end{array} \\ \mathrm{\nabla }g(x,y)=(\frac{\partial g}{\partial x_1},...,\frac{\partial g}{\partial x_n},\frac{\partial g}{\partial y})=(\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n},-1) \end{gathered}$$

Implicitement:

$${\mathcal{T}}_{C_0(g),p}=\{x\in {\mathbb{R}}^{n+1},\mathrm{\nabla }{g}^{T}x=0\}$$

Exercice

Soit

$$\begin{array}{rl}f:{\mathbb{R}}^2& \to \mathbb{R}\\ (x,y)& \mapsto a{x}^2+b{y}^2(a,b)\in \mathbb{(}{R}_{\ast }^{+}{)}^2\end{array}$$

1. Decrire l'espace tangent en tout point du graph de
   $f$
2. Decrire l'espace tangent a la courbe de niveau
   $1$ de
   $f$
3. Exo 4.53

1.En un point

$(x,y,f(x,y))\in Gr(f)$

• perte selon
  $x$:
  $(1,0,\frac{\partial f}{\partial x})=\text{color}blue(1,0,2ax)$
• perte selon
  $y$:
  $(0,1,\frac{\partial f}{\partial y})=\text{color}green(0,1,2by)$

$$\begin{array}{rl}{\mathcal{T}}_{Gr(f),p}=vect(& \underset{}{\underbrace{(1,0,2ax),(0,1,2by)}})+p\\ \{\lambda (1,0,2ax)& +\mu (0,1,2by),(\lambda ,\mu )\in {\mathbb{R}}^2\}=(\lambda ,\mu ,2ax\lambda +2by\mu ),(\lambda ,\mu )\in {\mathbb{R}}^2\end{array}$$

2.

${\mathcal{C}}_1(f)=\{(x,y)\in {\mathbb{R}}^2,f(x,y)=a{x}^2+b{y}^2=1\}$

On commence par regarder que vaut le gradient de cette fonction::

$$\mathrm{\nabla }f(x,y)=\left(\begin{array}{c}2ax\\ 2by\end{array}\right)$$

Dans quel sens pointe le gradient ?

Quel est l'espace par rapport au gradient ?

$$\begin{gathered} \begin{array}{rl}{\mathcal{T}}_{{\mathcal{C}}_1(f),p}=p+\{(x,y),\mathrm{\nabla }f(x_0,y_0{)}^T\left(\begin{array}{c}x\\ y\end{array}\right)& =0\}\\ (2a{x}_0,2b{y}_0)\left(\begin{array}{c}x\\ y\end{array}\right)& =0\\ 2a{x}_{0}x+2b{y}_{0}y& =0\\ y& =-\frac{a{x}_0}{b{y}_0}x\end{array} \\ {\mathcal{T}}_{{\mathcal{C}}_1(f),p}=(x_0,y_0)+\{(x,y)\in {\mathbb{R}}^2,\underset{\mathrm{\nabla }f(x_0,y_0{)}^T\left(\begin{array}{c}x\\ y\end{array}\right)=0}{\underbrace{y=-\frac{a{x}_0}{b{y}_0}x}}\} \end{gathered}$$

3.Ou est le minimum de

$f$ ? Quel point minimise

$a{x}^2+b{y}^2$ ?

C'est

$(0,0)$.

$$argminf(x,y)=a{x}^2+b{y}^2=(0,0)$$

Dans quel sens pointe le gradient en tout point de la courbe de niveau par rapport au point minimal?

En tout point des courbes de niveau de

$f$,

$Df$ point a l'oppose du point optimal

$(x^{+}=0,y^{+}=0)$

Caracterisation au premier ordre de la convexite

Graphiquement, quelque soit

$x$,

$Gr(f)\ge {\mathcal{T}}_{Grf(x,f(x))}$, le point est toujours au-dessus de la tangente.

Si

$f$ est convexe,

$\mathrm{\forall }x,y$,

$f(y)-f(x)\ge f^{\prime }(x)(y-x)$

Pour une fonction

$f:{\mathbb{R}}^n\to \mathbb{R}$,

$f$ convexe

$\iff$

$\mathrm{\forall }x,y\in {\mathbb{R}}^n$

$$\text{color}redf(y)-f(x)\ge \mathrm{\nabla }\underset{\in {\mathbb{R}}^n}{\underbrace{f(x{)}^T}}\underset{\in {\mathbb{R}}^n}{\underbrace{(y-x)}}$$