# Attendus

- 5 à 10 pages
- 1ère partie = synthèse des informations données pendant la semaine sur le sujet choisi.
- Travail documentaire personnel libre, par exemple sur des défis technologiques ou scientifiques restant ouverts, ou encore sur des enjeux applicatifs et/ou industriels en lien avec le sujet.
- Bibliographie

**Lien article :** https://www.researchgate.net/profile/Wang-Mei-2/publication/324600003_Deep_Face_Recognition_A_Survey/links/5b5679a745851507a7c405c1/Deep-Face-Recognition-A-Survey.pdf

**Lien ResearchGate :** https://www.researchgate.net/publication/324600003_Deep_Face_Recognition_A_Survey

# Synthèse

## 1. Qu'est-ce que la reconnaissance faciale et à quoi sert elle ?

La reconnaissance faciale est une technique biométrique qui a été longtemps utilisée dans les domaines suivants :

- le militaire,
- les finances,
- la sécurité publique,
- la vie quotidienne

Elle permet une vérification d'identité à partir d'une vidéo ou d'une image.

Historiquement, on retient quatre courants techniques de la reconnaissance faciale :


1. **L'holisme** : on doit considérer et appréhender les caractéristiques d'un visage comme un tout afin de l'identifier. Met en jeu les méthodes telles que :
- Eigenface : "ingrédients de visages standardisés" que l'on représente par des vecteurs
- Fisherface : extraction des caractéristiques principales du visage qui sépare un individu d'un autre
- Réseaux bayésiens : utilisés pour modéliser les dépendances spatiales et les relations causales

2. **Local handcraft** : on extrait des propriétés dérivées à l'aide de divers algorithmes utilisant des informations présentes dans l'image elle-même.

3. **Shallow learning** : on extrait des caractéristriques bien choisies grâce aux connaissances qu'on a sur les paramètres déterminants pour la reconnaissance faciale .

4. **Deep learning** : on utilise des réseaux de neurones avec plusieurs couches pour entrainer un modèle capable de faire de la reconnaissance d'images.

Le développement des cartes graphiques et l'augmentation considérable des quantités de données d'entraînement disponibles ont favorisé de nombreuses applications de la reconnaissance faciale ces cinq dernières années.

$$\sqrt{2}$$

## 2. Histoire de la techniologie et avènement du deep learning

L'histoire de la reconnaissance faciale commence au cours des années 1960, avec le développement d'approches holistiques du problème.

Les approches holistiques de la reconnaissance faciale impliquent l'analyse d'un visage entier comme une seule entité, plutôt que de le décomposer en caractéristiques individuelles. Ces premières méthodes reposaient sur des algorithmes simples qui comparaient la forme et la structure globales d'un visage à une base de données de visages connus. Ces systèmes étaient limités dans leur précision et ne pouvaient reconnaître qu'un petit nombre d'individus.

Dans les années 1980, les chercheurs ont commencé à développer des approches basées sur les caractéristiques de la reconnaissance faciale. Ces méthodes impliquent de décomposer un visage en caractéristiques individuelles, telles que les yeux, le nez et la bouche ; et d'analyser chaque caractéristique séparément. Cette approche a entraîné une amélioration significative de la précision de la reconnaissance.

Dans les années 1990, le développement de la technologie de reconnaissance faciale 3D a permis une analyse plus approfondie des traits du visage, ce qui a entraîné une précision encore plus élevée. Cependant, ces systèmes étaient encore limités dans leur capacité à reconnaître les individus dans des scénarios du monde réel, comme dans un faible éclairage ou lorsque le visage d'un individu était partiellement obscurci.

Avec l'avènement de "l'apprentissage profond" (deep learning) dans les années 2000, la technologie de reconnaissance faciale a subi une transformation importante. Les approches d'apprentissage en profondeur impliquent la formation d'un modèle sur un grand ensemble de données d'images faciales, ainsi qu'une puissance de calcul décuplée, permettant au système d'apprendre les modèles complexes et les variations des traits du visage. Cela a entraîné une augmentation significative de la précision de la reconnaissance et de la capacité à reconnaître les individus dans un large éventail de scénarios du monde réel.

La technologie évolue encore et il y a des débats en cours sur ses implications éthiques.

## 3. Focus on Deep approaches

### A. Rappels
Reminder: Face recognition components
Face alignment, normalization and anti-spoofing

Tout d'abord il faut utiliser un détecteur de visages pour repérer ces derniers dans une image ou une vidéo. Ensuite il y a un détecteur pour repérer les traits du visage pour les aligner selons des coordonnées usuelles. Ces visages "normalisés" sont ensuite donées en entrée pour la reconnaissance faciale.
La reconnaissance faciale peut aussi être utilisée pour la vérification, en calculant le nombre de similarités entre le visage qu'on lui donne et les visages connus, elle peut déterminée si l'image est celle d'une personne déja connue par le modèle. Cela peut servir pour éviter l'usurpation d'identité.

### B. Important modules
Deep Face Recognition Modules
Dive in DNN architectures
DNN architectures: backbone vs assembled
DNN architectures variants
Face processing

Bien que la reconnaissance faciale puisse être très performante, mais en fonction de la pose, de l'expression faciale, de la luminosité des reflets etc, les performances peuvent être largement affectées. Il existe donc des algorithme ou l'on soumet la même image selon plusieurs angles pour permettre à l'algorithme d'apprendre à travailler avec des poses moins "usuelles". Il y a encore de nouvelles architectures de reconnaissance pour améliorer les résultats, elles entrainent plusieurs réseaux avec plusieurs entrées ou plusieurs tâches, à chaque réseau correspond une entrée ou une tâche. Lorsque les réseaux profonds sont entrainés avec beaucoup de données, on peut leur donner en entrée les images test desquelles ils vont extraires les caractères puis calculer les ressemblances entre ces caratéristiques grâce à différentes méthodes.

### C. Databases and evaluation
Network Architecture
Reproducibility of published results
Databases: 1994-2015
Databases: 2015-2020
Databases: 2015-2020 (2)
Evaluation tasks and metrics

### D. Challenges
What is compared when reporting results with DNN
Images from videos, and training / testing identities

## 4. Recherche de biais

Les technologies de reconnaissance faciale présentent de nombreux biais : elles ont tendance à être moins précises pour les femmes et les personnes de couleur (**biais de genre**), en particulier les personnes de couleur foncée ; pour les personnes âgées et les enfants (**les biais d'âge**), en raison de la variabilité des traits faciaux au fil du temps et de l'âge ; pour ceux dont les visages sont tournés de côté ou inclinés (**biais de position**) ; ceux qui portent des lunettes, masques, chapeaux ou autres accessoires particuliers (**biais de comportement**) ; et ainsi de suite.

Ces biais peuvent varier selon les systèmes de reconnaissance faciale utilisés, et il existe des efforts pour améliorer la précision et réduire les biais dans les technologies de reconnaissance faciale. Cependant, cela est souvent dû à un manque de diversité dans les données d'entraînement utilisées pour développer les modèles.

### Le biais racial

Les biais raciaux sont un problème important dans les technologies de reconnaissance faciale. Les études montrent que les systèmes de reconnaissance faciale ont tendance à être moins précis pour les personnes de couleur, en particulier les personnes de couleur foncée. Ces biais ont de nombreux enjeux sociétaux, dans la mesure où ils sont utilisés comme base de décision par de nombreuses entités importantes (états, grosses entreprises...).

Il existe deux types de protocole de formation pour les réseaux de neurones : le protocole indépendant du sujet et le protocole dépendant du sujet.

Protocole indépendant du sujet : Dans ce type de protocole, le modèle est entraîné à reconnaître des visages indépendamment du sujet. Il utilise des données d'entraînement qui comprennent des images de visages de différents individus. L'avantage de ce protocole est qu'il est généralement plus robuste et moins sensible aux variations de l'expression faciale, de l'éclairage et de l'angle de prise de vue.

Protocole dépendant du sujet : Dans ce type de protocole, le modèle est entraîné à reconnaître des visages en se basant sur un seul sujet. Il utilise des données d'entraînement qui comprennent des images de visages d'un seul individu. L'avantage de ce protocole est qu'il est généralement plus précis et plus rapide, car il est spécifique à un individu. Cependant, il est également plus sensible aux variations de l'expression faciale, de l'éclairage et de l'angle de prise de vue.

Il faut noter que les protocoles de formation pour les réseaux de neurones en reconnaissance faciale sont également soumis à des biais par exemple racial, de genre, age. Il est donc important de s'assurer que les données d'entraînement utilisées pour entraîner les modèles sont diversifiées et représentatives de la population cible.

### Les protocoles d'entraînement
Il existe deux types de protocole de formation pour les réseaux de neurones : le protocole indépendant du sujet et le protocole dépendant du sujet.

Protocole indépendant du sujet : dans ce type de protocole, le modèle est entraîné à reconnaître des visages indépendamment du sujet. Il utilise des données d'entraînement qui comprennent des images de visages de différents individus. L'avantage de ce protocole est qu'il est généralement plus robuste et moins sensible aux variations de l'expression faciale, de l'éclairage et de l'angle de prise de vue.

Protocole dépendant du sujet : Dans ce type de protocole, le modèle est entraîné à reconnaître des visages en se basant sur un seul sujet. Il utilise des données d'entraînement qui comprennent des images de visages d'un seul individu. L'avantage de ce protocole est qu'il est généralement plus précis et plus rapide, car il est spécifique à un individu. Cependant, il est également plus sensible aux variations de l'expression faciale, de l'éclairage et de l'angle de prise de vue.

### Vérification vs identification

Il existe deux principaux types de tâches de reconnaissance faciale: la vérification et l'identification.

La vérification : cela consiste à vérifier si une image de visage donnée correspond à une image enregistrée d'un individu spécifique. Elle permet de dire si deux images de visage proviennent de la même personne ou non. Cela est souvent utilisé pour l'authentification d'utilisateur, par exemple pour déverrouiller un téléphone ou accéder à un compte en ligne.

L'identification, qui consiste à identifier à quelle personne appartient une image de visage donnée. Elle permet de dire à quelle personne correspond une image de visage donnée parmi une base de données de personnes enregistrées. Cela est souvent utilisé pour la surveillance de la foule, la reconnaissance automatique des personnes dans les vidéos ou pour les systèmes de reconnaissance de visages dans les aéroports.

## 5. Some face recognition results reported from our group
TSP DNN face recognition
TSP imporvements
TSP DNN pipeline
TSP Improvements : triplet loss
TSP Improvements : face detector
TSP results on NIST 2019 Face Recognition
Examples from Labeled Faces in the Wild (LFW)
TSP Face verification on LFW and Mobio Databases
Challenges