# [TC2] TD2 - IAT
###### tags: `IAT`, `S2`, `TC2`
----
_Avec TRO_
##

[Le sujet](https://moodle.insa-lyon.fr/pluginfile.php/221175/mod_resource/content/3/TD-enonce.pdf)

[La correction](https://moodle.insa-lyon.fr/pluginfile.php/274722/mod_resource/content/2/TD-correction.pdf)

# Prédiction et méthode des moindres carés

## Exercice 1.1

- n est la dimension de l'observation. x est l'observation
- q~i~(x) est la fonction des carrés des écarts entre la prédiction et l'observation ( je suis pas d'accord, on te dit nul part que ces qi c'est les eccarts, dans le cours ils disent juste que c'est une somme de fonctions)

$q_{i} = (v_i - (x_1 u_i + x_2))^2$
$f(x) = \sum_{i=1}^{l} q_i$

## Exercice 1.2

**Théorème 1.** : Une combinaison linéaire à coefficients positifs de fonctions convexes est une fonction convexe.

$q_i = x_1^2 u_i^2 + x_2^2 + 2 u_i x_1 x_2 - 2v_i u_i x_1 - 2v_i x_2 + v_i^2$

Dans notre cas, f est une somme de fonctions étant strictement positives sur leurs domaines de définition, car ce sont le carrés des écarts (donc toujours positifs par définition).

On veut donc montrer que les fonctions qi sont convexes ici. Une fonction est convexe si son hessien est positif en tout point. On développe donc la fonction pour calculer le héssien de l'expression.


$\lambda^{2}-\lambda \operatorname{Trace}\left(\nabla^{2} q_{i}(x)\right)+\operatorname{det}\left(\nabla^{2} q_{i}(x)\right)=\lambda\left(\lambda-\left(2+2 u_{i}^{2}\right)\right)=0$
Or, $\operatorname{det}\left(\nabla^{2} q_{i}(x)\right) = 0$

On en conclut que pour tout i, $q_i$ est convexe car pour tout x, $∇^2 q_i(x)$ est semi-définie positive.

Par conséquent, f est convexe.

## Exercice 1.3

L'optimum global est défini par:

L'optimum global est donc la solution qui minimise f(x)

# Le perceptron, l'ancêtre des réseaux de neurones

## Exercice 2.1
$y_i$ vaut 1 ou -1
Si $y_i(w x_i + b)>0$ pour tout i alors $y_i$ et $\hat{y}$ ont le même signe donc on a pas d'erreur

Q n'est pas bornée inférieurement donc on ne peut pas trouver une paire qui minimise Q.

## Exercice 2.2

$$
Q^{\prime}(\mathbf{w}, b):=\left\{\begin{array}{ll}
-\sum_{i \in E_{\mathbf{w}, b}} y_{i}\left(\mathbf{w} \cdot \mathbf{x}_{i}+b\right) & \text { si } E_{\mathbf{w}, b} \neq \emptyset \\
0 & \text { sinon }
\end{array}\right.
$$
$y_i(w\cdot x+b) <0$ donc $\sum_{i \in E_{\mathbf{w}, b}} y_{i}\left(\mathbf{w} \cdot \mathbf{x}_{i}+b\right)$ est également négatif donc $-\sum_{i \in E_{\mathbf{w}, b}} y_{i}\left(\mathbf{w} \cdot \mathbf{x}_{i}+b\right)$ est forcément positif. Il est borné inférieurement par 0.

>Hugo il est trop fort en LateX
>[name=tractopelle] [color=blue]
>>Tu n'as pas vu clement :eyes:
>>[name=tit] [color=red]
>>>c'est joli
>>>[name=TGG] [color=yellow]

## Exercice 2.3