---
# System prepended metadata

title: Generalization and Robustness in DL Models
tags: [' generalization', projects]

---

---
tags: projects, generalization
---


# Generalization and Robustness in DL Models

## :memo: [Invariant Risk Minimization](https://arxiv.org/abs/1907.02893)



### Observatii => Contributii
OBS
- relatiile de cauzalitate sunt de obicei mai complexe=au nevoie de mai multi neuroni, dar cele spurious sunt shortcuts mai usor de invatat/cu mai putini params
- SGD prefers the solution with the smallest capacity

Contributions
- IRM are nevoie de higher capacity pt a putea invata reasoningul corect/presupus mai complex
- 0 training error are sens (nu inteleg de ce, cumva ajuta la gasit invariantii)

### Problema cu cauzalitatea
Culoarea oamenilor e feature f important pr predictia labelului in unele cazuri.
Q1: labelul e biased sau doar noisy? Daca e biased, IRM nu se ocupa de problema asta
Q2: (din definitie) are cum sa fie mai informativ feature-ul asta non-cauzal, given unbiased labels?
- Andrei întreba ce se întâmplă dacă se schimbă chiar efectul cauzal (pentru că în IRM una dintre puținele presupuneri e că mecanismul lui Y e fixat). However, n-am reușit să-mi imaginez o situație în care asta se poate întâmpla -- natura nu-și schimbă mecanismele de funcționare, cel mult noi ne schimbăm modelele cauzale. Ce *cred* că se poate întâmpla însă e să ai alt zgomot care intervine asupra cauzei lui Y sau chiar asupra lui Y de la un mediu la altul (de exemplu zgomot de măsurare) și parcă în IRM nu era nicio condiție cu privire la asta. 

### Experimentul sintetic MNIST forma vs culoare
OK: daca ar fi avut si un env cu 0.9 (sau macar 0.4-0.5) pe culoare si din existenta celor 3 envs ar fi extras info ca culoarea e problema pt ca e f variabila in relatia de cauzalitate.
Q3: ce inseamna sa fie min-err pt fiecare dataset in parte (in cazul asta cu mnist)?
Q4: de unde stim ca given this setup, forma nu e spurious de fapt? (Cred ca ce voiam sa zic e ca setupul e biased in sensul asta). de fapt nu stim doar ca obtine 66%? stim ce features foloseste pt asta?

### Alte Idei/Questions
i1: cum ai putea extrage mai multe datasets din unul? de ex pt cazul de CVs? de ex daca pui ca dataset un subset bine ales, nu iid, gen identifici o mixtura pt cateva features si le descompui? conform IRM sunt balansate cumva numarul de samples per dataset? pt ca nu mai ai lambda in suma nu poate sa fie cumva si o solutie pt unbalanced datasets?
i2: cum ai putea sa identifici care feature e spurious?
i3: generative models pt a evita spurious
bias amplification?
de ce sgd nu merge pe iid?
ar putea avea treaba genetic algos cu problema de generalizare ood? (altfel, nu la nivel de arch de NN poate la features)
catastrophic forgetting - partial poate sa fie din cauza de invatat shortcuts?
cum e meta-learningul diferit pe problema asta?
PS: notiunea de spurious e binara.
<!--
Q4: cat de diferite trebuie sa fie dataseturile? (diverse) + numarul de training datasets

reprezentarea theta are rank r si dataseturile sunt rank r => invariant all
r = 
d = nr total de features
 -->
 
> cum e meta-learningul diferit pe problema asta?

> [name=Florin][color=green]
> Cred că în meta-learning înveți o reprezentare $\Phi$ (sau un set de ponderi) și o rutină de adaptare a $w$-ului pentru fiecare env. Deci $w$-urile sunt diferite iar $\Phi$ e găsit astfel încât să faciliteze adaptarea. Prin urmare nu există vreo constrângere care să inducă învățarea unor reprezentări invariante la schimbarea de mediu.









### Notes: 
{%pdf https://drive.google.com/file/d/1m9rCvbIUNwAH83DDKH4F7ZNR96THXrol/preview %} 