# 210810 피어세션

## 학습정리 및 토의

### Cross-validation (교차검증)

- 과적합 확인을 위해 사용
- 논문에서 검증 용도로 많이 사용
- 학습데이터를 n개로 나누고, n개의 모델을 만들어서 서로다른 검증 데이터를 제공하여 학습

k-fold도 앙상블로 사용될 수 있다. 각 fold에 하나의 모델 적용

cross validation은 서로 다른 데이터에 같은 모델 사용

bagging은 똑같은 데이터에 다른 모델 사용

cross validation을 데이터셋이 부족할 때 사용한다고 생각
-> 이는 분산학습(데이터를 나눠서 학습?)과 비슷한가?

mini-batch는 일부만 돌리면 되므로 full-batch보다 시간이 단축된다(효율 차이!)

학습에 영향을 주는 data가 validation data, 최종적인 모델 성능 확인 용도로 test data사용

### Boosting
간단한 분류기를 여러 개를 만들어서 sequential하게 연결시킨다

### Momentum
momentum은 가기전에 gradient를 합쳐주고 nag는 at를 이용해 2번 업데이트

### Batch Normalization
batch norm과 drop out은 같이 사용하지 않는 것이 좋다 (준희님 경험)
batch norm은 layer 끝날 때마다 사용
resnet에서는 fully connected layer를 사용하지 않는다

## 다음 모더레이터에게 바통터치🎉