Lien de la note Hackmd

Introduction

Remote sensing

What is remote sensing ?

• Remote: operating without a direct contact
• Sensing: perform a measure
• Measure something at a distance, rather than in situ. It relies on propagated signal of some sort, for example optical, acoustical, or microwave

Remote sensing image

Panchromatic image

La particularite de ces systemes est qu'ils ont leur propre source d'illumination, en envoyant des signaux qui interagissent avec des objets d'interete.

Exemple: on prend une photo avec de la lumiere, c'est un systeme actif

Ici on s'interesse a la teledetection ou on utilise des sources d'illumination externe (le soleil)

On s'interesse principalement au regime optique de la lumiere, avec de l'optique geometrique. On est dans les plages du visible a l'infrarouge.

On va regarder l'heterogeneite des donnees qu'on peut avoir en teledetection:

Multispectral

On a aussi des images multispectral:

Hyperspectral

From low spatial resolution…

To high spatial resolution

Spatial details in satellite images

Spatial details in aerial images

Spatial details in drone images

Bonne precision pour identifier des feuilles de plante, utile pour verifier leur etat de sante

J'espere que vous vous en rappelez

Multitemporal images

Ce sont les Alpes, par-dessus Grenoble
Ce sont des recombinaisons fausses couleurs
Il y a des parties manquantes sur l'image a cause des nuages

On a une acquisition par jour par satellite, et on a 2 satellites.

On arrive a faire un suivi de certains phenomenes

On a certaines satellites "Agile" capablent d'orienter leurs cameras

Voici d'autres acquisitions:

En comparant les images, on voit clairement le deplacement de la camera

Multiangular drone images

On entre en convergence en computer vision, on retrouve les memes problematiques.

Applications

Thematic classification

On veut tirer des informations de ces images, par exemple: semantic segmentation

Anomaly detection

Detecter des evenements rares comme des phenomenes naturels.

(Video) Nearly 20 Years of Change at Your Fingertips

Optical radiation model

Optical Remote sensing principle

Quant a la source d'illumination:

On a des longueurs d'ondes beaucoup plus elevees par rapport a ce qu'on utilise dans les capteurs optiques, on peut aller jusqu'aux ondes radios

Solar radiation

The spectral radiant exitance (

$M_{\lambda }[W{m}^{-2}\mu m^{-1}]$) of a black body is modeled by Planc's blackbody equation

$$M_{\lambda }=\frac{C_1}{{\lambda }^5(e^{\frac{C_2}{\lambda T}}-1)}$$

• $C_1,C_2$ constant
• $\lambda$ wavelength
  $[\mu m]$
• $T$ black body temperature
  $[K]$

The blackbody function peaks at a wavelength given by Wien's law

$${\lambda }_{max}=\frac{2989}{T}$$

Pour le soleil, le pic d'emission par rapport a sa temperature se trouve dans le visible

Solar spectral irradiance

• $E_{\lambda }^0$ spectral irradiance
  $[W{m}^{-2}\mu m^{-1}]$ power density that reaches the earth
  • Quantite d'energie
• Spectral irradiance at the top of atmosphere

$$E_{\lambda }^0=\frac{M_{\lambda }}{\pi }\times \frac{\text{area solar disk}}{(\text{distance to earth}{)}^2}$$

Et le Red-Shift ?

On a un soleil dans une autre galaxie, si l'emission de cette etoile etait dans le jaune mais que la galaxie se deplace, on a une reduction en frequence qu'on voit comme un shift dans le spectre d'emission
C'est l'effet Doppler qui fait ca, caracterise par la nature ondulatoire de la lumiere
C'est comme ca qu'on arrive a estimer les velocite de galaxies
On relie ca aux gazs presents dans les etoiles, ces derniers ont des spectres d'emissions particulier donc avec le red-shift on peut estimer le decalage

Solar/Earth radiation

Tout corps avec une temperature

$\le 0K$ aura un spectre d'emission hors du visible

Radiation Components

On est a l'exterieur de l'atmosphere:

Optical remote sensing component

Radiation mechanism

Radiation component

Radiance reaching the satellite sensor

$$L_{\lambda }^s=L_{\lambda }^{su}+L_{\lambda }^{sd}+L_{\lambda }^{sp}$$

• $L_{\lambda }^{su}$ the unscattered, surface-reflected radiation
• $L_{\lambda }^{sd}$ the down-scattered, surface-reflected skylight
• $L_{\lambda }^{sp}$ the up-scattered path radiance

Surface-reflected, unscattered component

$L_{\lambda }^{su}$

• The atmosphere interacts with radiation both on the solar and view path
• The fraction or radiation that arrives at the earth's surface is the solar path transmittance,
  ${\tau }_s(\lambda )$
• The molecular absorption bands of water and carbon dioxide cause deep absorphtion features that, in 2 bandas near
  $1.4\mu m$ and
  $1.9\mu m$, completely block transmission of radiation

Solar path

• $0$: Rien qui est transmis
• $1$: La couche est totalement transparente

Exemple: Sentinel-2 spectral responses

Atmospheric scattering mechanisms

L'aerosol est la composante principale qui va determiner l'absorption. Ces bandes ne sont pas forcement utiles pour le monitorage de la surface terrester mais sont des indicateurs lors du moment de l'acquisition.

Si on considere l'interaction de la couche atmospherique avec la source d'illumination, on a la transmission qui va determiner une modulation de l'energie.

Atmospheric scattering

• Absorption mainly due to molecules of oxygen, carbon dioxide, ozone and water which attenuates the radiation very strongly in certain wavelengths
• Scattering by atmospheric particles is the dominant mechanism that leads to radiometric distortion in image data

Rayleigh scattering

• scattering due to air molecules
• effect proportional to
  ${\lambda }^{-4}$
• scattering mechanism in a clear sky

Mie scattering

• scattering by aerosol (e.g. smoke, clouds, haze) with molecules larger than those of the air (
  $1-10$ times
  $\lambda$)
• not much dependent on the wavelength

On a du scattering avec des nuages ou du brouillard

Ce type de scattering n'est pas forcement selectif en fonction de la longueur d'onde

Interaction with the surface

Solar path

Spectral irradiance at the earth’s surface

$$E_{\lambda }={\tau }_s(\lambda )E_{\lambda }^0$$

Irradiance at the surface

• The irradiance at the surface depends on the incident angle
• The incident irradiance

$$E_{\lambda }(x,y)=⟨{\tau }_s(\lambda )E_{\lambda }^{0}n(x,y),s⟩={\tau }_s(\lambda )E_{\lambda }^0\cos [\theta (x,y)]$$

Surface radiance

• The incidence radiation interacts with the materials on the surface
• Assumption of a Lambertian surface
  $\to$ equal radiance in all directions
• surface radiance
  $L_{\lambda }(x,y)$

$$\begin{array}{rl}{L}_{\lambda }(x,y)& =\rho (x,y,\lambda )\frac{E_{\lambda }(x,y)}{\pi }\\ & =\rho (x,y,\lambda )\frac{{\tau }_s(\lambda )E_{\lambda }^0\cos [\theta (x,y)]}{\pi }\end{array}$$

with

$\rho$ the diffuse spectral reflectance,

$\pi$ geometric factor

• Bi-directional Reflectance Distribution Function (BRDF)

$$BRDF(x,y,\varphi ,\theta )\simeq \frac{L_{\lambda }(\varphi )}{E_{\lambda }(x,y)}$$

Measuring the BRDF

At the sensor

Radiation mechanism

On mesure la combinaison de ces 3 composantes au niveau du capteur

Radiance at the sensor

• Radiance reaching the sensor passes through the atmosphere
• Depends on the view angle
• at-sensor radiance

$$\begin{array}{rl}{L}_{\lambda }^{su}& ={\tau }_v(\lambda )L_{\lambda }\\ & =\rho (x,y,\lambda )\frac{{\tau }_v(\lambda ){\tau }_s(\lambda )E_{\lambda }^0\cos [\theta (x,y)]}{\pi }\end{array}$$

with

${\tau }_v(\lambda )$ the view path transmittance.

Surface reflected, atmosphere-scattered component

$L_{\lambda }^{sd}$

• The sensor also sees radiance arising from radiation that is scattered downward by the atmosphere ("skylight") and then reflected at the earth upward
• Radiance due to skylight

$$L_{\lambda }^{sd}=F(x,y)\rho (x,y,\lambda )\frac{{\tau }_v(\lambda )E_{\lambda }^d}{\pi }$$

with

$E_{\lambda }^d$ the irradiance at the surface due to skylight and

$F(x,y)$ the fraction of the sky hemisphere that is visible from the pixel of interest.

On peut comparer ces 2 images:

Les zones d'ombre n'ont pas de composante direct d'illumination. On recoit l'information d'une composante qui est reflechi sur cette zone qui est reflechi par l'atmosphere.

Sans atmosphere, on n'a pas d'information car pas d'eclairage (photo 2).

L'interet est d'essayer de voir, si on traite une image donnee, quelles sont les variables physiques d'interet.

Image formation in optical sensors

Acquisition geometry

• Directions
  • Cross-track
  • Along-track
• Scanners
  • Line scanner
  • Whiskbroom scanner
  • Pushbroom scanner
• Geometry of acquisition different from pinhole
• Field of view (FOV) full cross-track angular coverage
• Ground-projected Field Of View (GFOV) ground coverage of the FOV

Instaneous Field of View (IFOV)

$$IFOV=2\arctan (\frac{w}{2f})\simeq \frac{w}{f}$$

• $f$: focal length
• $w$: size of a detector element

Instantaneous Ground-projected Field Of View (GIFOV)

$$GIFOV=2H\tan (\frac{\text{IFOV}}{2})\simeq \frac{w}{m}$$

Ground-projected Sample Interval (GSI)

$$\text{GSI}=w_d\cdot \frac{H}{f}=\frac{w_d}{m}$$

with

$w_d$ the inter-detector spacing

• GSI determined by cross-track and in-track sampling rates
• Cross-track GSI usually matches the GIFOV
• In-track GSI depends on the sampling rate and the platform velocity (and scanning velocity)

Overall sensor model

Sensor characterization

The sensor will sense the physical signal with a non-zero

• Integration time
• Spectral bandwith
• Spatial distance

Generic sensor model

$$\begin{gathered} o(z_0)={\int }_{w}i(\alpha )r(z_0-\alpha )d\alpha \\ o(z)=i(z)\ast r(z) \end{gathered}$$

• $z$ physical quantity to measure
• $o(z)$ sensor output
• $i(z)$ input signal
• $r(z)$ sensor response

Spatial resolution

Pourquoi on descend a des resolutions tres poussees ?

Car d'un point de vue technologique, on arrive a produire des capteurs avec des grande precisions
On est limites a un facteur qui est le rapport signal/bruit

Point spread function

D'un point de vue de caracterisation des instruments:

Cette transformation est donnee par la point spread function. C'est la reponse a une impulsion sur un Dirac (ici un point tres brillant qui va etre "etale" par un point optique)

The sensor modifies the spatial properties of the signal

• blurring
• distortion of geometry

The blur is characterized by Point Spread Function (PSF)

The acquired electronix signal

$e_b$ representing the signal

$s_b$ given by:

$$\begin{gathered} e_b(x,y)={\int }_{{\alpha }_{min}}^{{\alpha }_{max}}{\int }_{{\beta }_{min}}^{{\beta }_{max}}{s}_b(\alpha ,\beta )\text{PSF}(x-\alpha ,y-\beta )d\alpha d\beta \\ {e}_n=\text{PSF}\ast s_b \end{gathered}$$

The PSF is composed of different components:

• optical PSF
  ${\text{PSF}}_{opt}$
• image motion
  ${\text{PSF}}_{im}$
• detector PSF
  ${\text{PSF}}_{det}$
• electronix PSF
  ${\text{PSF}}_{el}$

$$\text{PSF}={\text{PSF}}_{opt}\ast {\text{PSF}}_{im}\ast {\text{PSF}}_{det}\ast {\text{PSF}}_{el}$$

The 2D PSF is assumed to be separable:

$$\text{PSF}(x,y)={\text{PSF}}_c(x){\text{PSF}}_i(y)$$

Optical PSF

• The optics spread a punctual light source on the focal plane
• Effect due to
  • Optical diffraction
  • Lens aberrations
  • Misalignments of the optics
• Typically the
  ${\text{PSF}}_{opt}$ is modeled as a 2D Gaussian function

$${\text{PSF}}_{opt}(x,y)=\frac{1}{2\pi ab}{e}^{-\frac{x^2}{a^2}}{e}^{-\frac{y^2}{b^2}}$$

with

$a$ and

$b$ the width of the PSF in the cross- and in-track direction

Detector PSF

• Blurring due to the non-zero spatial extent of each cell in the detector
• The blur is uniform over the spatial area of the detector
• Typically the
  ${\text{PSF}}_{det}$ is modeled as a 2D rectangular pulse function

$${\text{PSF}}_{det}(x,y)=\text{rect}\frac{x}{w}\text{rect}\frac{y}{w}$$

with

$w$ the width of the PSF

Modulation Transfer Function

C'est les modules de la reponse sous filtre
On retrouve ces profils dans les directions de deplacement de la plateforme

D'un point de vue configuration, on ne veut pas avoir de superposition

Point Spread Function and sampling

On fait une sorte de filtre anti aliasing

Spectral resolution

Si on prend un capteur qu'avec 4 bandes, on aura 4 valeurs par acquisition
La resolution sera differentes qu'avec plus de capteurs

Spectral response

The digital number (DN) stored in a pixel

$p$ is (approximately) given by

$${\text{DN}}_{pb}=K_b{L}_{pb}+offse{t}_b$$

with

$K_b$ and

$offse{t}_b$ the gain and offset in the A/D conversion

Bayer pattern

Multispectral sensors

Example: WorldView2 sensor

Spectral responses

Ca permet de garantir d'avoir des niveaux d'energie suffisant

Example: Sentinel-2 spectral response

Example: VEN

$\mu$S

VEN

$\mu$S (Vegetation and Environment monitoring on a New MicroSatellite)

Illustration of a three-array TDI detector unit (image credit: EIOp Ltd.)

Question - The rainbow plane

Trouvee sur Google Earth

On a des repliques colorisees differement de cet avion

Pourquoi ?

On a fait les acquisitions de differents spectres a differents moments

Pourquoi on a les "contours" de l'avion ?

On dirait le domaine frequentiel

On dirait un gradient de l'avion

Ce sera donc une derivee premiere ou seconde calculee sur l'image de l'avion.

Pourquoi faire ca ?

Car c'est la fusion d'une image panchromatique avec une image multispectrale

RECAP: surligner les effets lies a la physique et la nature, et aborder les concepts lies a la formation de l'image d'un point de vue de l'acquisition