# Processing with AI ## Partie 2: 👩‍⚖️ Ethics of AI Nom - Prénom : > Gonnet Pauline > Sujet : > Surveiller l’attention des élèves en cours à l’aide de la vision par ordinateur. > (Monitor student attention in class using Computer Vision) >[TOC] ## Cahier des charges ### Biais Si notre jeu de données n'est pas conçu avec suffisamment de rigueur, les biais suivant risquent d'apparaître : >1. Seuls les enfants d'une certaine couleur de peau pourraient être reconnus par l'ordinateur. >2. Seuls les enfants d'une certaine tranche d'âge pourraient être reconnus. >3. Seuls les enfants d'un genre ou d'un autre pourraient être reconnus. Nous allons donc nous assurer que notre modèle n'est pas biaisé en : >1. Sourçant nos données depuis par exemple le jeu de données appelé "Diversity in faces" d'IBM composé de visages diverses afin que les visages de n'importe quelle couleur de peau puissent être reconnu. >2. S'assurant que nos données prennent en compte la diversité des âges à reconnaître : des enfants de 3 ans n'ont pas les mêmes visages que des enfants de 12 ans. Le jeu de données doit donc être composé de personnes de tout âge. >3. Ces données doivent aussi représenter des visages d'hommes et de femmes à parts égales afin que l'ordinateur reconnaisse aussi bien les hommes que les femmes. >4 On pourra aussi entraîner l'ordinateur sur différents jeux de données triés par spécificités pour que la reconnaissance soit la plus efficace possible : on pourrait constituer des jeux de données selon les âges, les genres, les couleurs de peau. ### Overfitting Nous allons nous assurer que notre modèle ne sera pas dans une situation de sur-apprentissage (overfit) en : > Vérifiant la précision de notre modèle sur Natural Adversarial Examples, un jeu de données d'images non retouchées. Si le modèle est en situation de sur-apprentissage il ne reconnaîtra pas correctement ce jeu de données. ### Usages détournés >Nous devons nous rappeler que notre application pourrait être utilisée de façon malveillante par un gouvernement dictatorial par exemple ou encore par les réseaux sociaux pour surveiller l'attention des utilisateurs dans différentes situations. ### Fuite de données > Dans un scénario catastrophe, au cours duquel l'entièreté de notre jeu de données d'entrainement serait disponible au grand public, le risque serait que les visages des enfants utilisés circulent librement sur internet et puisse être utilisés d'une manière détournée. ### Piratage > Si une personne trouvait un moyen de "tromper" notre modèle et modifier son comportement à volonté, le risque serait que les élèves les moins attentifs soient repérés et que d'autres organismes que l'école utilisent ces données. On pourrait penser à des séléctions pour accéder à des études supérieures basées sur ces données là alors qu'elles n'auraient pas été fournies par les candidats eux-mêmes.