PBR: Real-time Implementation

Site du cours

Before we start

Comment on genere une image ?

• On a vu le raytracing
• On a vu la rasterization

On va se focus sur le temps reel avec de la rasterization

Old Times

Lambert

On a tous fait un Lambert model

• Plus l'angle est eleve entre la normal et la lumiere, moins il n'y a d'energie

Il n'y a pas de modele

$100\mathrm{\%}$ diffus

En une seule operation on a notre BRDF

Il existe d'autres modeles mais la difference visuelle n'est pas assez bonne pour etre utilises

Phong

• Approximation pas tres bonne
• MAIS precurseur a son epoque (
  ${}^{\prime }70s$)

Pas de conservation d'energie:

Pseudocode

Lambert

void main()
{
 vec3 diffuse = kD * dot(normal, lightDirection) * color;
 gl_FragColor.rgba = vec4(diffuse, 1.0);
}

Phong

void main()
{
 vec3 r = reflect(- viewDirection, normal);
 vec3 diffuse = kD * dot(normal, lightDirection) * color;
 vec3 specular = kS * pow(max(dot(lightDirection, r)), exponent);
 gl_FragColor.rgba = vec4(diffuse + specular, 1.0);
}

What and why

Introduction

Non-physical model requires a lot of tweaking

Si on a un artiste qui fait une scene en exterieur puis on lui dit qu'on doit aller dans un tunnel en voiture, l'artiste pleure
Il doit tweaker les materiaux pour que ca ait l'air joli en fonction de la lumiere

C'est pour ca qu'il y a eu l'avenement du Real Time Rendering vers 2013

C'est dur de definir le PBR

Definition: PBR
Modele mathematiques et approximations que nous allons tous suivre pour decrire les interactions entre la lumiere et la matiere

What is PBR ?

Pourquoi c'est populaire ?

Decrit le monde plus precisement, donne des rendus realistes
Tout le monde utilise plus ou moins les memes inputs
Moins de tweaking

Win-win pour les ingenieurs et artistes

Microfacets Theory

Ce modele approxime ce qu'il se passe dans la vraie vie

On dit que tous les materiaux sont composes de miroirs plus ou moins alignes

C'est quoi la difference entre un miroir et un plastique ?

Notre premier cas sera un miroir
Le second est un materiaux super diffus

Dielectrics vs Conductors

Conductors

La couleur diffuse serait une approximation du sub-surface scattering

• Les conducteurs reflete
  $0-20\mathrm{\%}$ de la lumiere

Les metaux n'ont pas de sub-surface scattering

• Les conducteurs refletent
  $60-90\mathrm{\%}$ de la lumiere
• Certains conducteurs ont leur couleur propre due aux longueurs d'ondes absorbees

BRDF

BRDF Simplification

$$f_r(p,{\omega }_0,{\omega }_i)=f_d(p,{\omega }_0,{\omega }_i)+f_s(p,{\omega }_0,{\omega }_i)$$

Notre BRDF devient pulg & play

On peut remplacer par ce qu'on veut du moment que

$\int \le 1$

Implementation notes

$$\begin{gathered} f_r(p,{\omega }_0,{\omega }_i)=k_d{f}_d(p,{\omega }_0,{\omega }_i)+k_s{f}_s(p,{\omega }_0,{\omega }_i) \\ {k}_d+k_d\le 1 \end{gathered}$$

Diffuse Lobe

$$f_d(p,{\omega }_0,{\omega }_i)=\frac{\rho }{\pi }$$

• $\rho$: reflectance spectrum

Specular Lobe

$$f_s(p,{\omega }_0,{\omega }_i)=\frac{D({\omega }_0,{\omega }_i)F({\omega }_0,{\omega }_i)G({\omega }_0,{\omega }_i)}{4({\omega }_0,{\omega }_i)({\omega }_i\times n)}$$

Specular BRDF

$$\begin{gathered} D_{GGX}(n,h,a)=\frac{{\alpha }^2}{\pi ((n\times h{)}^2({\alpha }^2-1)+1{)}^2} \\ \overrightarrow{h}=\frac{\overrightarrow{v}+\overrightarrow{L}}{\Vert \overrightarrow{v}+\overrightarrow{L}\Vert } \end{gathered}$$

• Normal distribution function
  $D({\omega }_0,{\omega }_i)$
• Estimates the area of microfacets aligned to give perfect specular
• As usual, lots of different NDF equations…
• To be consistent, let's implement the Trowbridge-Reitz equation
• Low roughness means few samples contributing a lot to specular

Shadowing term

$G({\omega }_0,{\omega }_i)$

$$\begin{gathered} G(n,v,l,k)=\underset{Obstruction}{\underbrace{G_{SchlickGGX}(n,v,k)}}\underset{Shadowing}{\underbrace{G_{Schlik}(n,l,k)}} \\ {G}_{SchlickGGX}(n,v,k)=\frac{n\times v}{(n\times v)(1-k)+k} \end{gathered}$$

• On va approximer
  $k=\alpha$
• Approximation de l'occlusion

L'orientation des facettes peut pieger la lumiere

Effet Fresnel

On a un joli coucher de soleil sur la mer (ou ocean)
L'eau est un miroir modulo les vagues

Pour tout materiaux, la reflectance va etre maximale aux angles rasants

L'effet Fresnel c'est le poids du specular lobe

$k_s$

$$\begin{gathered} F_{Schlik}(v,h,f_0,f_{90})=f_0+(f_{90}-f_0)(1-v\times h{)}^5 \\ {F}_{Schlik}(v,h,f_0)=f_0+(1-f_0)(1-v\times h{)}^5 \\ {F}_0(ior)=\frac{(1-ior{)}^2}{(ior+1{)}^2} \end{gathered}$$

• $f_0$: base reflectivity at normal incidence
• $f_{90}$: base reflectivity at grazing angle
  • Almost always 1 for conductors

Fresnel reflectance for common materials

• For dialectics,
  $f_0$ is often approximated with
  $0.04$
• Some materials
  $f_0$ are tainted (gold, copper)
• Implementation note:
  • For dielectics, pick
    $0.04$
    $f_0$
  • For conductors, store
    $f_0$ in albedo texture
  • Use metallic input to lerp between the 2

Demo !

Direct-Lightning pseudocode

vec3 radiance = vec3(0.0);
for(int i = 0; i < NB_LIGHTS; ++i)
{
 vec3 w_i = lights[i].direction;
 vec3 kS = FresnelShlick(f0, wi, w_o);
 vec3 specularBRDFEval = kS * f_s(p, w_i, w_o);
 vec3 diffuseBRDFEval = (1.0 - kS) * f_d(p, w_i, w_o);

 radiance += (diffuseBRDFEval + specularBRDFEval) * sampleLight(lights[i], p, w_i) * dot(normal, w_i);
}

Textures

Les artistes font plusieurs textures

To remember !

• Diffuse is an approximation of sub-surface scattering
• La plupart des moteurs connus vont avoir des metallics workflow
• Ca simplifie beaucoup la vie

Ponctual light

Point light

• Infinitely small
• Isotropic
• Describe only by a position
• Simple to code and fast to sample
• Power unit should be set using Lumens
• How to select a proper value ?
• Not as accurate as Area Light

$$L_i(p,{\omega }_i)=\frac{\varphi }{4\pi r^2}n\times {\omega }_i$$

Cette lumiere n'existe pas dans la vraie vie

Note

• On ne va pas parler de directionnal light (deja fait)
• Si on utilise une directionnal light, il faudra tweaker les parametres
• Ce n'est pas aussi fidele que les Area lights

Image Based Lightning

• 4 points lights

• Avec environnement

$$\begin{gathered} L_0(p,{\omega }_0)={\int }_{\mathrm{\Omega }}(f_d(p,{\omega }_0,{\omega }_i)+f_s(p,{\omega }_0,{\omega }_i))L_i(p,{\omega }_i)n\times w_i \\ {L}_0(p,{\omega }_0)={\int }_{\mathrm{\Omega }}{f}_d(p,{\omega }_0,{\omega }_i)L_i(p,{\omega }_i)m\times {\omega }_i+{\int }_{\mathrm{\Omega }}{f}_s(p,{\omega }_0,{\omega }_i)L_i(p,{\omega }_i)m\times {\omega }_i \end{gathered}$$

IBL Diffuse

$${\int }_{\mathrm{\Omega }}{f}_d(p,{\omega }_0,{\omega }_i)L_i(p,{\omega }_i)m\times {\omega }_i$$

Mais c'est juste un flou gaussien ?

C'est pas si faux que ca, c'est assez proche

$$\begin{gathered} L_0(p,n)={\int }_{\mathrm{\Omega }}\frac{\rho }{\pi }{L}_i(p,{\omega }_i)n\times {\omega }_{i}d{\omega }_i \\ {L}_0(p,n)=\frac{\rho }{\pi }{\int }_{\mathrm{\Omega }}{L}_i(p,{\omega }_i)n\times {\omega }_{i}d{\omega }_i \end{gathered}$$

Il faut faire une integration par angle solide, et c'est complique.

• Utilisation des coordonnees spheriques pour l'integration
• Discretiser l'integrale avec la somme de Riemann
• Calculer pour chaque texel, avec la direction
  $N$ du centre

IBL Specular

$${\int }_{\mathrm{\Omega }}{f}_s(p,{\omega }_0,{\omega }_i)L_i(p,{\omega }_i)m\times {\omega }_i$$

$$L_0(p,{\omega }_0)={\int }_{\mathrm{\Omega }}{L}_i(p,{\omega }_i)d{\omega }_i\times {\int }_{\mathrm{\Omega }}{f}_r(p,{\omega }_0,{\omega }_i)n\times {\omega }_{i}d{\omega }_i$$

Ca a ete teste et ca marche: c'est ca la 3D

Changer le niveau de roughness c'est faire du downsampling, pourquoi par appliquer la roughness en faisant des images de plus en plus petites

Pre-computed BRDF

$$\begin{array}{rl}{\int }_{\mathrm{\Omega }}{f}_r(p,{\omega }_0,{\omega }_i)n\times {\omega }_{i}d{\omega }_i& =F_0{\int }_{\mathrm{\Omega }}{f}_r(p,{\omega }_0,{\omega }_i)(1-(1-{\omega }_0\times h{)}^5)n\times {\omega }_{i}d{\omega }_i\\ & +{\int }_{\mathrm{\Omega }}{f}_r(p,{\omega }_0,{\omega }_i)(1-{\omega }_0\times h{)}^{5}n\times {\omega }_{i}d{\omega }_i\end{array}$$

Obtained bu substituting Fresnel Shlick
Only 2 inputs left: roughness, viewing angle

At runtime:

1. Fetch pre-integrated BRDF texture
2. Fetch convoluted environment
3. Apply the above equation to get the full specular component

Specular: compisistion

c2 brdf = GetIntegratedBRDF(NdotV, roughness);
vec3 prefilteredSpecular = GetPrefilteredSpecular((NdotV, roughness);
vec3 specular = prefilteredSpecular * (F * brdf.x + brdf.y);

• F: Fresnel term

To remember

• C'est juste du pre-filtering

Colorspace and color precision

• sRGB vs Linear
• Monitors apply pow function to luminance
• Toute l'industrie a du se base sur les ecran qui font ca donc ils ont cree le
  $sRGB$
• Sur photoshop, une image sera encodee en sRGB pour retrouver les couleurs imaginees

On va eviter de faire nos calculs en sRGB

• Soit on fait tout en sRGB
• Soit on fait tout en lineaire
  $\Rightarrow$ OUI
  • On applique a la fin la fonction sRGB pour convertir en lineaire

HDR vs LDR

HDR: High Dynamic Range

Reinhard Tonemapping:

$$colo{r}_{final}=\frac{c}{c+1}$$

• HDR has larger range of values
• Units will create radiance color outside the
  $0\dots 1$ range
• Perform computation in HDR, tonemap to LDR is required
• HDR is required to get correct PBR result
• Especially important for IBL

Going further

Advanced materials

Examples: hair, skin, cloud, etc.