# 10.06,07(수,목)요일 피어세션

###### tags: `peer-session`
## 역할 분담
* 새로운 실험
* 각자 진행 상황 공유하고 결정
* 이름도 적어주시면 감사하겠슴당.
* 백재형 - train set MLM pretrain
* 한진 - input-change PR, hyper-parameter tuning 도전...
* 송민재 - TTA 마지막 도전.., Optimizor, LR-schedular
* 나요한 - Additional Embedding Layer 추가,
* 이호영 - AEDA로 XLM-RoBERTa-large 기본 성능 늘려보는 중
* 정찬미 - AEDA 최신 code에 적용, RS
* 홍석진 - AEDA(while 문 돌려서 전처리)

* 앙상블

* hyper parameter tuning

## hyper parameter tuning
* 바꿀 수 있는 변수들
- epochs
- batch
- learning rate(비추. 바꿔도 성능이 안오름)
- weight decay
-

## 앙상블
* 사용할 모델들 정리
* focal loss
* augmentation
* input change
* error fix
* 앙상블 계획
* 어느 모델과 어느 모델

## 남은 제출 수: 5(목요일 14시 기준)
* 앙상블과 새로운 실험의 중요도 나누기
* 남은 제출
* 앙상블 3개
* 누가 몇번 어떤 실험
~~* 송민재 TTA 한번(인간지능 후 결정)~~
* 이호영 focal loss적용 + AEDA로 XLM-RoBERTa-large f1 score 60대 후반 도전 1번
* 나요한 DomainAdaptation 추가 1번
* ~~백재형 MLM 1번~~
* ~~홍석진 AEDA while문 SOTA모델에 1번~~
* ~~정찬미 AEDA 최신코드 1번, RS 1번(가능하면)~~
* ~~한진 focal-loss + input 변경 1번~~

## 제출 기준
- Loss나 F1 score에서 기존 SOTA보다 좋은 성능을 보일때?

## 앙상블 기준
- 성능이 적어도 60 후반대는 되어야..
- 비슷한 결과는 제출자제하기
- CSV를 concat해서 비교해보고 어느정도 다른지 보면 좋음
- Confusion Matrix를 보고 조금 다른 분류를 하는 모델이면 더 좋음

## 내일 2시
* 각자 실험한 결과 들고 모이기
* 앙상블 후보군에서 어떻게 합칠지 결정
* 계획 세우기
* 나눠서 돌리기
* 제출

# 앙상블 후보군
### f1 72.249 송민재 fix error data
- 기존 데이터에서 중복을 제거함
- roberta-large 3epochs 요한님의 모델과 완전히 유사

### f1 72.391 한진 tokenize like BERT
- input : [CLS][obj] 변정수[/obj] 씨는 1994년 21살의 나이에 7살 연상 남편과 결혼해 슬하에 두 딸 [subj]유채원[/subj], 유정원 씨를 두고 있다. [SEP][obj][PER]변정수[/obj][subj][PER]유채원[/subj] [SEP]
- 민재님의 fix error에서 파생
### f1 70.509 송민재 total_aug
- Augmentation이 보통 성능이 안좋았으나 Confusion Matrix를 분석하니 좋아진 label이 존재했었음 결국 Augmentation은 데이터의 크기를 증가시키는 것이므로 데이터의 크기가 커지면 좋은 label이 따로 존재할 것이라고 가설을 세움
- 심지어 Augmentation의 종류(대체, EDA, 대체+EDA)에 따라 좋아지는 label이 달라졌음
- Confusion Matrix를 참고해 좋아진 label에 대해서만 해당 augmentation을 진행함
- 약 8개의 label -> 800개 정도의 데이터 추가
- 성능은 2정도 떨어졌으나 무작정 Augmentation하는 것보단 훨씬 좋은 성능이였음
#### 결과분석
- 성능이 떨어진 원인은 두가지로 추측
1. 과적합 : 분석했던 Confusion Matrix는 결국 분리한 eval데이터 기준이므로 overfitting
2. 성능이 좋았던 label만 추가했으나 다른 label과의 상호작용이 발생할 수 있으므로 label끼리 완전한 독립이라고 할 수 없음 -> 성능이 좋아지지 않거나 나빠질수도!
### f1 71.188 AUROC 76.036 백재형 typed_entity_mark roberta-large batch 32 epochs 3
- input에 넣을 때
<CLS> 백재형 <SEP> 밥 <SEP> <S:PER> 백재형 </S:PER> <O:POH> 밥 </O:POH>을 먹었다<SEP>으로 넣음.
- 민재님 코드 적용 안함
- eval으로 적용 함

### f1 70.622 나요한 [SEP] token 한개만
- input : [CLS] 변정수 씨는 1994년 21살의 나이에 7살 연상 남편과 결혼해 슬하에 두 딸 유채원, 유정원 씨를 두고 있다. [SEP]'변정수'' 딸 유채원 [SEP]
- stratified0.2형태로 진행
- fix_error 모델에서 파생

### f1 72.676 홍석진 focal_loss + AEDA
- 기존 sota 모델에 AEDA 추가
- AEDA는 데이터셋의 하위 15개 relation label을 augmentation하는 방식(약 1400개의 데이터 증가)
- 결과 : 기존 focal_loss 대비 0.02 상승, 하지만 confusion matrix 비교시에는 잘 맞추는 라벨이 다르기 때문에 앙상블을 통해 확인 필요

### Augmentation

### AEDA

### 요약
- fix_error : `72.053` : RoBERTa_b38_e3_step2000모델에서 중복되는 데이터 제거
- focal_loss : `72.654` : fix_error모델 + focal_loss
- sep_next : `71.424` : fix_error모델 + [SEP]하나만
- sep_next_with_token : `72.391` : fix_error모델 + 데이터 형태를 BERT처럼 변형
- total_aug : `70.509` : focal_loss + 데이터 augmentation
- AEDA : `72.676` : focal_loss + AEDA(1400개)(15클래스)
- TTA : `70.128` :
- DomainAdaptation: `70.622` : fix_error + DomainAdaptation