# DSV - Lasse

- Bias
- **Bias i ML (overordnet)**
- Bias i ML handler om, hvor godt en model klarer sig på tværs af grupper (køn, race, alder, etnicitet osv). Der vil i praksis altid være grupper hvor en model klarer sig bedre end andre.
- Hvorfor? Baseret på jeres nye viden om ML, hvad kan være skyld i dette?
-
- **Et par eksempler:**
- COMPAS
- Prædiktionen fejler forskelligt for hvide og sorte
- 
- [Næsten al data for ML modeller i en sundhedskontekst kommer fra California, New York og Massachussetts ](https://www.scientificamerican.com/article/health-care-ai-systems-are-biased/)
-Modermærkekræft -> hvis der er lineal på DATA!
- GPT-3 gif
- **Hvad kan man gøre?**
- Roden til alt, både godt og ondt, er data. Man kunne forestille sig at den historiske respons på at en veluddannet præsenterer sig for lægen med hoste vil være anderledes end en med lav SES → dette vil modellen lære og videreføre. (ligesom COMPAS).
- Nødvendigvis et problem? Base rates af sygdomme kan være forskellig?
- T2D blandt sorte
- Prædiktere henvisning. Veluddanet mere sandsynlig for henvisning (e.g. på grund af måden man snakker lægen osv)

- **Hvordan skal man forholde sig som læge?**
- Kend performance på tværs af kategorier! Vær kritisk hvis modellen forudsiger noget der ikke matcher din intuition.
- Interpretability - hjælper med debugging

- *ML modeller kan være biased på flere forskellige måder. Fx kan der være forskel hvor godt en model klarer sig på tværs af køn, race, alder osv. Især fra USA er der eksempler på, at biased ML modeller har ført til dårligere hospitalsbehandling, færre prøveløsladelser mv. for sorte end hvide. Her vil vi inddrage hvordan bias i modeller opstår, hvordan det kan undersøges og formindskes, samt hvad man skal være opmærksom på som læge.*
- Interpretability
- **Interpretability overordnet**
- Hvad vil det sige at noget er interpretable?
- Eksempel med logistisk regression
- 3 variable
- 100 variable
- ()Interactions)
- Hvorfor er det ønskværdigt?
- Vil gerne vide om modellen har lært spuriøse sammenhænge -> har den lært ting vi ved er forkerte?
- **Hvorfor er interpretability svært?**
- Neurale netværk er komplekse, og laver *rigtig* mange beregninger. Input bliver transformeret til ukendelighed og har stærk interaktion med alle de andre inputs. (re-introducer NN)
- Evt. vis billede med edge detection neurons -> det samme gælder for tal, hvad betyder det????
- Nogle metoder kan give os et indblik i hvad der sker - MEN - ofte forskellige svar på det samme spørgsmål. (find eksempel)
- **Status**
- Meget arbejde på området, men ingen "færdig" løsning. Ikke et løst problem
- **Hvor vigtigt er interpretability for lægens arbejde?**
- Diskussion. Hvordan skal man forholde sig til fx et sådan output https://github.com/interpretml/interpret
- [_Furthermore, showing participants a clear model meant that they were less able to detect and correct for the model’s sizable mistakes, seemingly due to information overload._](https://www.microsoft.com/en-us/research/publication/manipulating-and-measuring-model-interpretability/)
- **Informeret samtykke**
- Hvad betyder det for patientens ret til at vide baggrunden for behandlingen?
-
- Kan man stole på de forklaringer der bliver lavet? ML modeller laver komplekse beregninger der, selvom vi kender alle parametrene, ikke umiddelbart er fortolkbare for mennesker. Vi har metoder til at forsøge at forsimple hvad der sker inde i maskineriet, men kan vi stole på fortolkningen? Hvad betyder det for den lægelige praksis?
- Accountability
- **Potentielle problemer**
- Hvem er ansvarlig når modellen tager fejl?
- Potentiel ansvarsfraliggelse → "fulgte bare modellen"
- **ML prædiktion vs blodprøve**
- Data er der allerede / data skal indhentes
- Dvs, ML er ikke som sådan ny information, men baseret på gammel viden.