# SY31 - Chap8 - Capteurs Camera

| Objectifs | Applications |
| -------- | -------- |
| cameras et leurs caracteristiques | vision industrielle (qualité) |
|analyse des images issus de l'environement 3D | robotique (localisation, detection d'obstacles)|
|segmentation pour la robotique | Systèmes ADAS -> vehicules inteligents, detection de pietons|

## Naissance de l'imagerie et de signaux electromagnetiques
* premières photos faites sur des plaques en verre avec une très longue exposition (photos de rues sans pietons car longue exposition)

1826: première photo -> 1885: rayons X (Röntgen) -> 1885: brevet cinemato (frères lumière - "sortie de l'usine")

### origines de traitement de l'image
* 1920: Bartlane: pour envoyer des photos par télegraphe
* années 60: conquête de l'espace + diffusion de l'image
* années 60/70:tomographie en imagerie médicale (modèle 3D à partir de plusieurs photos)
* on utilise des images partout depuis (géographie, bio, médecine, Nucléaire, Sécurité...)

### types d'images et leurs utilisation
Les images c'est des ondes à la base (lumière visible est une petite partie du spectre élecromagnètique qui est utilisé en entier)(énergie => photons)
#### Imagerie rayons gamma
* médecine (cerveaux)
* astronomie

#### Rayons X
* medecine: squelettes + certains organes (matière "molle")
* Industrie, Astronomie, Sécurité

#### Ultra-Violet
* Microscopie, Astronomie
* Biologie (on injecte une substance qui réagit aux UVs)

#### Infra-rouge
* proche IR: pas visibles à l'oeil nu mais visibles par des cameras (filtre), surveillance de nuit
* autres IR (MWIR + LWIR): cameras thermiques
* satelites

#### Micro-ondes
* cartographie (Satellites quand il y a des nuages)

#### Radio
* IRM
* Astronomie

#### Ultrasons
* medecine
* geologie

#### Microscopie electronique en transmission
* bio
* medecine

## Système Humain et Perception des couleurs
* comprendre la perception humaine permets de comprendre les cameras
* énergie -> perception

----------------------------------->
| lumière incidente sur un objet | lumière reflechie | l'oeil |
| -------- | -------- | -------- |
| s'attenue sur la trajectoire vers l'objet | une partie est absorbée | perçoit la luminance de la couleur |
**SLIDE 18**

* spectre visible lambda = [380;730] nm (couleurs d'arc en ciel)
* composition + decomposition = prisme de Newton
* lumière blanche: un spectre avec toutes les couleurs

Les objets absorbent leur couleurs "complèmentaires" (un objet rouge absorbe les longeurs d'ondes "non-rouges")

### Système visuel humain
* champ visuel: 200x130° meilleure vision: 20 à 40°
* Activité visuelle 75 micromètres à 25 cm (vision parfaite)
* Dynamique: 10^-3 lux (nuit étoilée sans lune) à 10^5 lux (feuille blanche au soleil)
* Nuances colorées à luminance constante: 20 000
* vision binoculaire du relief -> stéreo vision

**Anatomie de l'oeil: Slide 24**
Dans la rétine c'est la Fovéa qui est le plus sensible à la lumière

#### Adaptation à la lumière de l'oeil
L'oeil s'adapte à la lumière en dilatatnt et contractant la pupille

#### La rétine
* Les cônes
* sensibles aux changements de luminosité
* parception achromatique (sensibilité max: vert)
* dans la fovéa
* 4 à 7 million
* grande vitesse de réponse, précision
* répatition
* cônes S(short): bleu
* cônes M (medium): vert
* cônes L (long): rouge
* Les batonnets
* sensibles aux couleurs
* Perception chromatique (RGB)
* 100x plus sensibles que les cônes
* 100 à 125 millions en dehors de la fovéa
* lents à l'adaptation (4x plus que les cônes)
* vision à faible intensité, sensibles au mvt

L'oeil est beaucoup + sensible au vert qu'aux autres couleurs (**slide 29**)

## Modèles des couleurs
* **luminance** = intensit physique d'une source lumineuse (quantité d'énergie), indep de la perception
* **brillance** = impression subjective de l'intensité lumineuse, fait intervenir notre perception (luminance, contraste, phènomène Purkinje) **slide30**

La perception de luminance n'est pas linéaire, les couleurs + sobres vont donner l'impression que qqch est moins lumineux (trompes l'oeil)

#### Persistance rétinienne
Les cellules de la rétine conservent un image environ 1/10eme de seconde après son apparition (durée de la sensation de luminosité après extinction)
* mise à profit du cinéma (24 images/seconde => on percoit mvt continu)

#### Anomalies de la rétine
##### Altération
* la retine est fragile, un fort éblouissement peut la blesser (Soleil) => perte irrémediable de cellules de la rétine => dégradations de performances de la vue

##### Défault génetique
* manque plusieurs sortes de cônes
* achromates: ne différencient pas les couleurs
* Daltonies: confondent certaines couleurs (**slide 33**)

## Modéliasation de la couleur: répresentation perceptuelle
### TSL et trichromie RGB
* teinte (hue): longueur d'ondes dominante
* saturation : pureté de l'excitation (intensité, à quelle point la couleur est dominante)
* luminance (lightness) : quantité de lumière transmise (ce qui nous donne impression d'avoir une couleur sombre ou claire)
* brightness (brillance): quantité de lumière émise

* Couleure pure = 1 seule longueur d'ondes (**slide 36**)

## Modèles de couleurs
### Teinte Saturation Luminosité
* Modéle HSL (Hue = teinte, Saturation, Luminosité) = slide 37
* teinte = tonalité chromatique : longueur d'onde dominante
* saturation : niveau de coloration d'une teinte (indépendente de la luminosité)
* luminosité: sensation de niveaux lumineaux au sens large (plus ou moins clair)

### Répresentation des couleurs
* répresentation spectrale trop riche (vision, coût mémoire)
* vision humaine: 3 fcts de base
* répresentation compacte => RGB => théorie trichromatique

#### Théorie trichromatique (Young-Helmotz 1801)
l'apparence visuelle de la couleur est de nature tri-dimensionnelle

=> colorimétrie (on peut obtenir n'impirte quelle couleur en mélangean 3 couleurs)

### Synthèse additive et sustractive
#### Additive (RGB) => on utilise ça en informatique
* addition de lumières colorés (primaires)
* juxtaposition (intégration spatiale) ex.: éclairage, moniteurs
* dans des temps diff: intégration temporelle (Nipkov)

#### Soustractive (CMY = Cyan, Magenta, Jaune)
* absorbtion sélective par un matériau en fct de diff logueurs d'onde
* négatif du RGB
* filtres colorés
* imprimerie (CYMK = CYM + noir)
* une surface rouge absorbe toutes les longuegrs d'onde sauf le rouge

#### Défault de la trichromie slide 41
* de temps en temps on ne peut pas atteindre équivalence
* Mesures de Wright et Guild : ajouter un flux à la lumière à égaliser (coeffs de pondération négatifs)
* les couleurs bleu-vert (450-550) ne peuvent pas être reproduites par superposition des 3 spectres

### Choix des couleurs
* théoriquement c'est pas un choix unique
* expérimentalement: choisir les couleurs du début, du milieu et du fin du spectre
* aucune des 3 couleurs primaires choisies ne doit pas résulter du mélange des 2 autres

### Inconvénients du RGB
* valeures négatives
* on ne peut pas varier la luminance
* plusieurs systèmes RGB
* on n'arrive pas à reproduire toutes les couleurs

## Modèles de couleurs trichromes à primaires virtuelles: espace de répresentation XYZ et espaces (presque) perceptuellement uniformes
* Défault des couleurs primaires:
* l'ensembles des couleurs peut pas être représenté avec des coordonées positives

* Besoin de nouvelles fct de base
* Couvrant tout le visible
* Coordonées positives
* linéaires / à RGB

### Système XYZ de la CIE (couleurs primaires virtuelles)
* XYZ 3 couleurs non visibles avec les prop suivantes:
* spectre equi-énergetique à des composantes XYZ égales (égalités des intégrales pareil pour le RGB)
* triplets XYZ positifs
* équivalence Y(lambda) (fct d'éfficacité lumineuse) et V(lambda) => permets de répresenter la luminance perçue par Y(V(lambda))

#### CIE-XYZ: obtention des composantes trichromatiques
* C(lambda) couleur quelconque
* méthode des ordonées pondérés
* fcts colorimétriques apparaissent comme des facteurs de pondération de la fct à intégrer

* Y luminance
* XYZ couleur (toutes)
* conversion RGB: linéaire : voir slide 48
* chromaticité:
* séparation chromaticité luminance
* le même rouge mais + sombre

#### CIE-XYZ: systèle Yxy et le diagramme de cromaticité
chromaticité = normalisation des composantes trichromatiques par rapport à la luminance
**slide 49**
l'axe gris est vertical

**GAMUT** = l'ensemble des couleurs que le moniteur est capable de reproduire (RGB)
* l'utilisation de sources primaires + saturés permet d'éteindre GAMUT

#### CIE-XYZ: limitations du système non uniforme
différence parceptible entre 2 couleurs: ellipse de Mac Adam (**slide 52**)
* petites (bas spectre), grandes(haut spectre)

### Perception des couleurs
* Distance entre 2 couleurs:
* l'espace de base: facile
* vision humaine: utile

* idéalement un lien entre les 2
* espace de couleurs perceptuellement uniforme (lien constant, indep de la couleur)
* Diff juste perceptibles : plus petite distance entre 2 couleurs perçues différentes

### Espaces perceptuellement uniformes slide 54
* il faut "tirer" sur les ellipse de Mac Adam pour les percevoir circulaires
* distance de sensation: Empfindung
* L*a*b
* L*u*v

### Fidèlité des couleurs
* conserver la même couleur sur différents outils de visualisation
* on passe par un échantillon étalon
* "profil de chaque outil" ICC
* fait avec colorimètre ou spectrocolorimétre (**slide 56**)

## Capture et transfert d'images: Camera
* Histoire: camera obscura
* boîte noire avec un petit trou par laquelle l'éxtérieur se projetait sur le mur du fond -> ajout des mirroires -> caméra
* dans l'oeil le cristallin correspond au mirroir **slide 59**

* Capteur numérique couleur:
* un capteur est sensible au tout spectre visible (quantité d'énergie) mais permet pas de voir la couleur
* on utilise 3 capteurs: RGB (camera Tri CCD: trop cher; utilisé pour des films)
* ou un système de prismes **slide 60**
* MONO CCD: réseau de filtres, on mets la qualité sur le vert (l'oeil est le plus sensible au vert)

### Balance des blancs et température des couleurs
Les lumières n'émettent pas les mêmes proportions de chaque couleur du spectre
-> on utilise la "balance du blanc": on étalonne la couleur blanche **slide 62**
* couleur chaude: plutôt bleue
* couleur froide: plûtot rouge-orange

### Caméras à capteur matriciel
* prédecesseurs de GoPro
* sensibles au infrarouge (utilisés pour les caméras de nuit avec un élerage infra rouge)

### Caméra OEM
* voitures
* smartphones

### Capteur linéaires
* utilisé sur les satellites : utilisé pour faire de très grandes images, les scanners fonctionnent sur le même principe

### Le transfert vidéo
#### Interfaces analogiques
* composite
* S-video
* composante
* RGB: VGA, Péritel
* YPbPr: RCA

#### Interfaces numériques caméras industrielles
**slide 67**
**slide 68** GigE = giga ethernet

#### LA capture d'images
en géneral 25/images par seconde, il faut un débit de traitement très rapide
schèmas **slides 69 et 70)**
entre le début et le début de la ligne bleue N+1 40ms, pareil pour le saut audessus
t = 40 - tm
dans le cas ou on veut traiter 25 images par seconde avec cet caméra il faut 34 ms par image
en temps réel on utilise 10 images par seconde
il faut toujours prendre en compte le retard du traitement de la latence

#### exemple Mako G-192
PoE allimenté par ethernet
ligne 3: resolution

shutter = obstruateur électronique: si on a des mvt rapides on peut avoir des déformations

taille du capteur (boîte noire avec un objectif) : on l'exprime dans sa diagonale 1/8 pouce

on a la taille des pixels sur le capteur

on a la monture d'objectif

cadence maximale d'image

plage dynamique (capacité de distinguer entre les claires et les sombres)

nb de bit par pixel

temperatures de fct, puissance électrique nécessaire

les réponses en fréquences pour le RGB