--- tags: '피어세션' --- 211102 피어세션 === - 기록자 : 김태현 - 오늘의 한마디 - 진행 해야 될 것 --- - TodoList 리마인더 질문 정리 --- 피어세션 진행 --- - Todo 공유 - 동규님: Span Maksing 구현, Model Freezing 구현하기 위해서는 코드가 너무 복잡해져서 안했음. MLM Loss 비율 줄이기, 지문 마스킹, 레이어 쌓기 했는데 큰 효과가 없었음(제일 잘나온게 EM이 71.98), 피어세션 이후에 inference Elastic Search 적용해서 제출할 예정 - 석민님: 데이터셋 5등분 후 지문에 붙이고 하이퍼파라미터 튜닝 돌림, 리트리버 테스트, 리드미 작성. - 은진님: 모델 output layer 실험 -> klue/roberta-large 쓰는 것 보다 확실히 효과가 있어 보이진 않지만 앙상블 가능해 보임 - 종현님: 석민님이 실험리스트 주신 것 중 하나 돌리는 중, 범블봇팀 리포트 읽고 하드보팅하는 거 보고 인상 깊었다. distant supervision에 네거티브 샘플 가중치 부여해서 loss 계산하는 방법 레포 참조해서 공부중. 모델 예측 결과를 살펴보니 - 태현님: 제출해봤음. new_train_dataset에서 roberta-large에서 Elastic Search를 사용해서 제출했는데 1점 오름. 데이터 뜯어보기. 앙상블 위한 모델 돌리는 중 - 채원님: Span Masking 시도 중. Roberta-large에서 성능이 많이 높지는 않음. 1기팀을 보니 Context에서 질문과 유사도가 높은 단어를 마스킹했다고 되어있어서 이 방법을 시도해볼 예정. - Retrieval에서 Okt가 제일 높게 나옴 - top10 기준 - Komoran : 88.46611177170035 - Okt : 90.24970273483947 - xlm-roberta-large : 74.19738406658739 - klue-roberta-large : 87.63376932223544 - koelectra-v3 : 87.99048751486326 - elasticsearch : 89.53626634958383 - 다국어 모델? - xlm roberta large + post-processing(조사 버리기) - xlm 트레이닝 시 EM이 아닌 F1 기준으로 훈련 - 추가 모델 - deepset/xlm-roberta-large-squad2 - a-ware/roberta-large-squadv2 - Freezing 했다가 unfreeze 하는법 - transformers.trainer.py 에서 iteration 돌때 freeze/unfreeze 하기 내일 까지 계획 ---