# Réalité Virtuelle Azzeddine Benabbou Université de Toulouse III - IUT A (Castres) [http://azed.in/](http://azed.in) azzeddine.benabbou@iut-tlse3.fr --- ## Organisation du cours <!-- .slide: data-visibility="hidden" --> - S5 - 1 séance de 2h de cours - 6 séances de 2h de TP - Développement avec Unity - Evaluation (Mercredi 24 janvier) - TP sur machine - S6 - 8 séances dediées au projet ---- ## Préparation du TP - Téléchargez [UnityHub](https://unity.com/fr/download) sur votre VM - Téléchargez Unity Editor - [Configurez VSCode](https://code.visualstudio.com/docs/other/unity) pour l'utiliser efficacement avec Unity --- ## La Réalité virtuelle - Juin 2022 - Sépration de jumeaux siamois - Intervention complexe nécessitant 7 opérations et une centaine de personnes --- ## Fondements --- ### Simulation - Définition 1 > "imitation volontaire ou semi-volontaire d’un trouble mental ou physique" - Larousse - Définition 2 > "Représentation du comportement d'un processus physique, industriel, biologique, économique ou militaire au moyen d'un modèle matériel dont les paramètres et les variables sont les images de ceux du processus étudié. (Les modèles de simulation prennent le plus souvent la forme de programmes d'ordinateurs auxquels sont parfois associés des éléments de calcul analogique.)" - Larousse ---- ### Simulation en médecine  (Chiniara, 2007) ---- Mannequin  ---- Simulateur VR  --- ### Réalité et virtualité Quelques termes - Virtual Reality - Augmented Reality - Mixed Reality - Extended Reality <br><br> - Digital Reality - Assisted Reality ---- ### Réalité et virtualité (2) Continuum de Milgram et al. (1994)  _(source : Flavian et al, 2019)_ Ce point de vue ne fait pas l'objet d'un consensus<br> (cf. Rauschnabel et al., 2022) ---- Monde réel  ---- Réalité augmentée <iframe width="560" height="315" src="https://www.youtube.com/embed/6oa6LDSgUKc" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> [https://www.youtube.com/watch?v=6oa6LDSgUKc](https://www.youtube.com/watch?v=6oa6LDSgUKc) ---- Virtualité augmentée <iframe width="560" height="315" src="https://www.youtube.com/embed/ZkBQbDQiRUg?si=qMywhGxxldz9wJpM" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> [https://www.youtube.com/watch?v=ZkBQbDQiRUg](https://www.youtube.com/watch?v=ZkBQbDQiRUg) ---- Réalité Virtuelle <video controls src="assets/videos/Nikita_Journee_ANR_2013.mp4"></video> Le projet de recherche NIKITA vise à produire un Environnement Virtuel (EV) pour la formation des monteurs-assembleurs du secteur de l’aéronautique ---- <iframe width="560" height="315" src="https://www.youtube.com/embed/xmyKtX42sKs" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> --- ### Définition de la RV - Approches de définitions (Fush el al. 2003 et 2006) : - Finalité, - Ses applications, - Ses fonctions - Techniques sur lesquelles elle repose ---- #### Finalité de la RV >La finalité de la réalité virtuelle est de permettre à une personne (ou plusieurs) une *activité sensori-motrice* et *cognitive* dans un monde *artificiel*, créé numériquement, qui peut être *imaginaire*, *symbolique* ou une *simulation* de certains aspects du monde réel. (Fuchs et al., 2003) ---- #### Finalité de la RV (2) - La personne agit physiquement dans un environnement dans lequel elle est immergée par certains de ces sens. - L'activité cognitif découle de l'activité sensorimotrice qui est un moyen pour atteindre l'objectif voulu de l'application. ---- #### Trois types de monde - **Imaginaire** : monde irréel sorti de l'imagination de ses auteurs. Monde ayant par exemple une géométrie irréaliste et permettant des comportements non réalistes (ex. voler, se téléporter) - **Symbolique** : monde où sont représentés des phénomènes (ex. structure de molécules) ou qui présente des concepts symbolique permettant de à l'utilisateur de mieux se représenter son environnement (ex. informations schématiques, visualisaiton de données) - **Simulation de certains aspects** du monde réel ---- #### Définition technique de la RV >La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des *interfaces comportementales* en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en *interaction en temps réel* entre elles et avec une personne en *immersion pseudo-naturelle*. - Arnaldi B. et Fushs P. - Interfaces comportementales - **Interfaces sensorielles** (ex. Ecran, casque audio) : informent l'utilisateur par ses sens de l'évolution du monde - **Interfaces motrices** (ex. manettes, gants de données) : informent le système des actions motrices de l'utilisateur - **Interfaces sensori-motrices** : informent dans les deux sens. ---- - Interaction temps réel - Lorsque l'utilisateur réalise une action (activité motrice), la réponse de l'environnement perçue via les interfaces sensorielles doit se faire sans latence. - Immersion pseudo-naturelle - L'interaction ne peut être à 100% naturelle car il existe quelques différences sensorimotrices et cognitives par rapport au monde réel. --- #### Autres définitions (Burdea et al. 1993) > Immersion, Interaction et Imagination (Ellis, 1994) >VR is an advanced human-computer interface that simulates a realistic environment and allows participants to interact with it (Tisseau, 2001) >un univers de modèles au sein duquel tout se passe comme si les modèles étaient réels parce qu’ils proposent simultanément la triple médiation des sens, de l’action et de l’esprit. --- # Les premiers systèmes RV ---- ## Sensorama  Appareil multisensoriel plongeant le spectateur dans une expérience immersive - Projection film, haut-parleurs stéréo, siège vibrant et diffuseur de parfums. ---- ## Epée de Damoclès  ---- ## Darth Vader  Travaux de recherche sur les environnements virtuels pour les cockpits d'avion ---- # Les visiocasques récents --- ## Google Cardboard - 2014  - Boite en carton avec deux lentilles en plastique et un emplacement pour smartphone - Utilise les capteurs du téléphone - Dépendant des performances du smartphones ---- ## Samsumg Gear VR - 2014  - Crée par Samsung en partenariat avec Oculus - Même principe que le Cardboard mais avec des optiques de meilleure qualité, un meilleur confort des capteurs en plus de ceux du smartphone ---- ## Oculus Rift DK1 & DK2 - 2013  - Relié à un PC - Faible latence et grand champ de vision - Sans controlleurs (Mais pouvait être couplé avec des manettes Razer Hydra) ---- ## HTC Vive - 2016  - Principal concurrent de l'Oculus à l'époque (amélioration à tous les niveaux) - Deux controlleurs - Deux caméras externes pour le suivi ---- ## HTC Focus - 2021  - Sans PC - Suivi des mains ----  ---- ## Meta Quest - 2023  - Sans PC - Caméras extérieures sur le casque pour réalité mixte - Suivi des yeux (Meta Quest Pro) --- # Autres équipements ---- ## Les gants haptiques  - Capture du mouvement - Retour de force ---- HaptX Gloves G1 <iframe src="https://player.vimeo.com/video/762515445?h=99f02b0cf0" width="640" height="360" frameborder="0" allow="autoplay; fullscreen; picture-in-picture" allowfullscreen></iframe> <p><a href="https://vimeo.com/762515445">HaptX Gloves G1 Launch Video</a> from <a href="https://vimeo.com/haptx">HaptX</a> on <a href="https://vimeo.com">Vimeo</a>.</p> ---- ## Veste haptique <iframe width="560" height="315" src="https://www.youtube.com/embed/FBPsJRYJ_ss?si=aRwFQVEoMjG3ewvt" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> ---- ## Tapis roulant omni-directionnel  ---- <iframe width="560" height="315" src="https://www.youtube.com/embed/JfP7OYpQ0kg?si=BOOTVnkxtY69Mg83" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe> --- # Pertinence de la Réalité virtuelle ---- 1. Mettre en situation lorsque la realité ne le permet pas - Inaccessibilité - Dangerosité et gravité - Manque de ressources financières et humaines 2. Simuler des situations rares et aléatoires - Tremblement de terre - Explosion dans un chantier - Fusillade - ... ---- 3. Contrôler les paramètres de la situation - Changer les conditions météorologiques - Augmenter la densité de la circulation - ... 4. Répéter les situations - Entrainement - Observer les conséquences d'un autre choix 5. Augmenter la capacité des sens (i.e Acquérir des "superpouvoir") - Se téléporter - Ralentir le temps - Voir au travers des objets - ... --- # Moteur de jeu ---- ## Moteur de jeu et DCC  DCC : Digital Content Creation ---- ## Exemple de moteur de jeu | Moteur de jeu | Langage | Column 3 | | -------- | -------- | -------- | | Unity | C#, Visual scripting | Client lourd | |Unreal Engine| C++, Blueprints | Client lourd| | GoDot| GDScript, C# | Client lourd | | BabylonJS | JS, Typescript | Client web | --- ## Préparation du TP - Téléchargez [UnityHub](https://unity.com/fr/download) sur votre VM - Téléchargez Unity Editor - Créez et lancez un projet "3D URP" - [Configurez VSCode](https://code.visualstudio.com/docs/other/unity) pour l'utiliser efficacement avec Unity