# 210831 피어세션

- loss function에 따른 성능 변화
- 현재 focal과 cross entropy가 비슷하게 나왔다.
- tensorboard 사용법
- multilabel_dropout 구현
- Baseline code
- vit 동작확인

- focal loss와 label smoothing을 섞어 썼을 때, validation loss가 균일하게 감소하는 추세를 보임
- validation loss를 줄이는게 중요할 듯
- validation loss 줄이는 방법
- **Data 전처리**: Data를 normalize해보자
- **Model compelxity**: 모델이 너무 복잡한지 체크해보자dropout을 추가하거나, layer수 또는 각 layer의 뉴런의 수를 줄여보자
- **Learning Rate and Decay Rate**: learning rate를 줄여보자, 좋은 시작값은 보통 0.0005 ~ 0.001이다.
- 출처: https://datascience.stackexchange.com/questions/43191/validation-loss-is-not-decreasing

- 앞으로 할 일
* 조준희 - multi-label classification + label smoothing + focal loss
-> age estimation 모든 나이로 확장 + f1 loss 추가

* 김태욱 - 모델, loss 별 실험 + TTA 추가

* 강석민
- 현재 InceptionResnetV1을 상속하여 모델 학습, Multilabel_Dropout
- K-fold 구현, Augmentation 다뤄보기

* 김태현 - loss 합쳐서 validation loss 낮추는 방향, CutMix

* 오하은
- [X] 태욱님이 올려주신 baseline코드 돌려보기
- [X] mask & gender labeling 오류 고쳐서 돌려보기
- [X] train/valid split 시 사람별로 나누되, 클래스 라벨별로 균등하게 나눈 후 돌려보기 -> 오히려 떨어졌다
- [ ] facenet 시도 -> crop은 잘 된다. but 고민:

* 고지호 - 게시판에 올라온 face crop 기법들 코드로 추가, 파일 저장

* 윤종원 - facenet 사용, cut-mix 시도