---
tags: '피어세션'
---

211029 피어세션
===

- 기록자 : 동규님
- 오늘의 한마디
- 오늘 오피스아워 기대기대
- 다들 질문 많이 남기셨나요?
- '갓유경 멘토님의 피드백 찬스를 놓치지 말자' (a.k.a NLP 마더)
- 아니 그런데 공지보니 성예닮 멘토님으로 되어 있는데
- 갓예닮 멘토님이랑 같이 하시는건가요?
- 메인이 갓예닮 멘토님이시구 갓유경님은 참관이신데 질문 같이 받아주신데요

진행 해야 될 것
---
- TodoList 리마인더
- 대회 진행상황 공유

질문 정리
---

피어세션 진행
---
- 불목을 보낸 3인
- 에러 때문에 5시 반에 잠든 3인..ㄷ :zombie:
- To Do 공유
- 동규님: 미용실 안감, 모델 프리징 실험, 데이터 생성 마무리
- 석민님: 게더에서 밤샌 채원님 마주침. DPR 훈련용 데이터 만드는 코드 완성, 종현님이 전처리한 위키 데이터셋에서 document id 인식하는 처리가 필요해서 적용해주었음. 질문생성하는거 85% 가량 완료. 오늘 안에 마무리 될 듯.
- 채원님: BART 계속 보고 있음(에러 다 수정하고 추론에서 파일이 안 생기는 문제 발생, 아마 후처리에서 발생하는 에러), BART를 오늘 제출해보는 것이 목표, ART를 오늘 제출해보는 것이 목표, Prompting은 오늘 안 볼 듯.
- 태현님: 백신 2차 접종, Freeze 학습과정중 에러, freeze에서 learning rate을 다르게 적용해서 주는 방법, elastic search 이것저것 살펴보는중,
- 종현님: 위키 데이터 중복제거 (약 1000개 가량이 제거됨), 55000개에서 52000개로 줄이는 오류 수정, 학습데이터에 있는 쿼리 기준으로 위키에서 데이터 불러온거 찾와와서 distant supervision 만드는 중
- 은진님: T5 encoder를 학습이 돌아가도록 구현(EM score가 안나오는 문제 -> 전처리 수정해야 할 것 같음), prompting은 주말에

- prompting
- PLM objective와 유사한 방식의 Task를 fine-tuing 단계에서 함께 풀도록 하여 다운스트림 태스크에서의 모델 성능을 높이는 방법

- 모델 Output Layer Deep하게 추가 + Freezing
- Linear Head (2개)
- Deep하게 Layer를 쌓을 수록 점수가 올라간다.
- 활성함수 추가하는 것 잊지말기
- BiLSTM + Layer
-
- Conv Head + Linear
- 성능 안 나옴(50점대)
- 아래와 같은 방법이 효과가 좋았음
1. Bakbone은 Freeze 후 Output Layer 먼저 학습
2. 전부 다 Fine-tuning

- head 에는 0.01로 학습한 이후 전체 fine-tuning할 땐 5e-5로 decay시켜가면서 학습

- 새로운 아이디어 (spanBERT)
- 토큰을 span 단위로 랜덤하게 Masking하는 아이디어를 차용.
- Context 외에 Question 에만 span 단위로 Masking 시 더 좋은 성능을 보여준 결과가 있음.

내일 까지 계획
---