---
# System prepended metadata

title: 211102 피어세션
tags: [피어세션]

---

---
tags: '피어세션'
---

211102 피어세션
===

- 기록자 : 김태현
- 오늘의 한마디
    - 

진행 해야 될 것
---
- TodoList 리마인더

질문 정리
---

피어세션 진행
---
- Todo 공유
    - 동규님: Span Maksing 구현, Model Freezing 구현하기 위해서는 코드가 너무 복잡해져서 안했음. MLM Loss 비율 줄이기, 지문 마스킹, 레이어 쌓기 했는데 큰 효과가 없었음(제일 잘나온게 EM이 71.98), 피어세션 이후에 inference Elastic Search 적용해서 제출할 예정
    - 석민님: 데이터셋 5등분 후 지문에 붙이고 하이퍼파라미터 튜닝 돌림, 리트리버 테스트, 리드미 작성.
    - 은진님: 모델 output layer 실험 -> klue/roberta-large 쓰는 것 보다 확실히 효과가 있어 보이진 않지만 앙상블 가능해 보임
    - 종현님: 석민님이 실험리스트 주신 것 중 하나 돌리는 중, 범블봇팀 리포트 읽고 하드보팅하는 거 보고 인상 깊었다. distant supervision에 네거티브 샘플 가중치 부여해서 loss 계산하는 방법 레포 참조해서 공부중. 모델 예측 결과를 살펴보니 
    - 태현님: 제출해봤음. new_train_dataset에서 roberta-large에서 Elastic Search를 사용해서 제출했는데 1점 오름. 데이터 뜯어보기. 앙상블 위한 모델 돌리는 중
    - 채원님: Span Masking 시도 중. Roberta-large에서 성능이 많이 높지는 않음. 1기팀을 보니 Context에서 질문과 유사도가 높은 단어를 마스킹했다고 되어있어서 이 방법을 시도해볼 예정. 
- Retrieval에서 Okt가 제일 높게 나옴 - top10 기준
    - Komoran : 88.46611177170035
    - Okt : 90.24970273483947
    - xlm-roberta-large : 74.19738406658739
    - klue-roberta-large : 87.63376932223544
    - koelectra-v3 : 87.99048751486326
    - elasticsearch : 89.53626634958383
- 다국어 모델?
    - xlm roberta large + post-processing(조사 버리기)
    - xlm 트레이닝 시 EM이 아닌 F1 기준으로 훈련
    - 추가 모델
        - deepset/xlm-roberta-large-squad2
        - a-ware/roberta-large-squadv2
- Freezing 했다가 unfreeze 하는법
    - transformers.trainer.py 에서 iteration 돌때 freeze/unfreeze 하기

내일 까지 계획
---