# 10.01 피어세션 ###### tags: `peer-session` - 모더레이터 : 홍석진 - # 앞으로 해야할 일 모델 측면에서는 완전 새로운 모델을 사용해보거나 데이터 전처리 및 augmetation을 진행하는 것이 좋아보임 # 석진 님의 실험 SOTA를 찍은 요한님의 실험 세팅으로 aistage에 올라온 entity를 바꿔서 augmentation을 진행한 것을 실험해보았다. augmentation 이전보다 성능이 더 떨어졌다. valid set에서도 augmentation을 진행했는데 성능을 비교하려면 train set에서만 augmentation을 진행해야한다. 먼저 train set와 dev set을 나누고 난 후에 train set만 augmentation을 진행한다. K Fold 방식으로 넘어가서 overfitting의 위험을 낮춰야한다. # 민재 님의 실험, EDA(Exploratory Data Analysis) Back Translation - 여러 나라의 언어 해봤는데, 번역기 성능이 하자가 있다. -> 쉽지는 않을 것 같다. -> 언어 번역 3개해서 동일한 단어가 나오는지 확인하면? while문으로 entity 유지 확인(비율 계산) EDA, AEDA - sub, obj entity 구조가 바뀌어서 어떻게 줘야할지 모르겠다. -> baseline 코드가 idx를 안넣어서 생각보다 쉽게 적용할 수 있을 것 같다. 문장, sub_entity, obj_entity가 겹치는 경우 어떻게 처리할지 추가로 실험 진행해보고 성능 확인하기 # 요한 님의 EDA(Exploratory Data Analysis) preprocessing에서 entity가 들어간 dict에서 entity만 추출함 AEDA, EDA 진행에 문제가 없을 것으로 예상 Special token을 추가해보자 entity 카테고리 분석 stratified 이후에도 train data의 분포는 비슷하게 유지가 되고 있었다. bucket 을 적용해보자 AUPRC 공부하기... # 호영 님의 실험 tokenizer 공부 중 -> 정리해서 다음에 보여드릴 예정 # 찬미 님의 실험 pororo를 사용해서 실험해볼 예정 # 한진 님의 실험 electra 실험을 해보고 결정 hyper-parameter tuning tool(laytune) 활용 방법 찾아보기 - no relation을 아예 제거하고 학습시키는 것 - no relation을 다른 데이터양만큼 줄여서 학습하기 - Loss를 계산하는데에 no relation은 포함을 시키지 않는 방법 # 재형 님의 실험 weighted를 줘서 loss 확인 중 -> no_relation 많이 줄어듬 11번 label과 15번 label에서 많이 오류가 발생 per:children, per:colleague # 토론 - K-fold를 사용해야하나 말아야하나? overfitting 줄일 수 있으니까 하다가 넘어갈 시점을 정하는 것도 방법일 수 있겠다.