# Processing with AI ## Partie 2: 👩‍⚖️ Ethics of AI Ilan Ennouchi: > Sujet : > Surveiller l'attention des élèves en classe à l'aide de la Computer Vision. >[TOC] ## Cahier des charges ### Biais Si notre jeu de données n'est pas conçu avec suffisamment de rigueur, les biais suivant risquent d'apparaître : >1. Un jeu de données manquant de diversité pourrait accroitre le taux d'echecs selon le sexe ou la couleur de peau du sujet. > >2. Une mauvaise configuration de la relation entre le sujet et son environment peut biaiser la surveillance en fonction de la complexité de l'arriere plan (un mur blanc derrière le participant ne provoquerait pas le meme taux de succès que quelquun en viso-conference dans sa cuisine). > >3. La variation de la luminosité doit également être prise en compte dans l'analyse pour éviter un taux d'erreur lié à l'evaluation de l'arriere plan ou de la couleur de peau par exemple. > >4.Le port de lunettes a reflets peut egalement trahir et biaiser la surveillance en supprimant l'acces aux yeux du sujet. Nous allons donc nous assurer que notre modèle n'est pas biaisé en : >1. Sourçant nos données depuis des bases tenant compte de la diversité des sujets. > >2. S'assurant que nos données prennent en compte la relation du sujet avec une diversité d'environements. ### Overfitting Nous allons nous assurer que notre modèle ne sera pas dans une situation de sur-apprentissage (overfit) en : > Vérifiant la précision de notre modèle sur des datasets differents, aleatoires selon les criteres de couleur de peau et de contextes. > > En testant differentes "pixel attacks" pour evaluer puis remedier à la vulnerabilité du systeme. ### Usages détournés >Nous devons nous rappeler que notre application pourrait être utilisée de façon malveillante car étant une application de surveillance accrue, une utilisation par un gouvernement ou une entité portant atteite à la liberté (prisons, camps de travail...) pourrait accroitre le pouvoir coercitif de ces derniers. ### Fuite de données > Dans un scénario catastrophe, au cours duquel l'entièreté de notre jeu de données d'entrainement serait disponible au grand public, le risque serait de donner un acces publique aux espaces privés des élèves et de rompre les potentiels accords de confidentialité et du droit à l'image de l'élève. > > Une brèche dans l'acces à l'image en direct par l'application et un acces par un tiers pourrait garder cet autorisation à l'image apres l'utilisation du systeme. > > Une fuite puis une analyse des données relevant de la capacité d'attention et des particularités de travail de l'élève pourrait porter atteinte aux données personelles de l'utilisateur. ### Piratage > Si une personne trouvait un moyen de "tromper" notre modèle et modifier son comportement à volonté, le risque serait que l'etudiant puisse tricher librement, ce qui affecterait la qualité et la reputation du systeme, mais qui ne releverait pas à notre avis d'un cas éthique grave.