---
tags: '피어세션'
---

211019 피어세션
===

- 기록자 : 그런거 읎다
- 오늘의 한마디
- "Macbook pro M1 pro, M1 max가 나왔습니다"

진행 해야 될 것
---
- TodoList 리마인더

질문 정리
---
- T5 모델 pre-training과 fine-tuning 방법 확실하게 정리하고 가요!

피어세션 진행
---
- TodoList 리마인더
- 동규님: train/validation 분리, augmentation 방법 파악
- 석민님: 9강 학습, sparse tokenizer 알고리즘 구현 (한자처리 중), hyper parameter tuning을 roberta-large로 돌리는 중, sigopt 알고리즘이 ray보다 사용하기 쉽다.
- 재혁님: 운동, 9강 학습, elastic search 데이터 넣는 중, elastic search에 한국어 토크나이저 적용했음, 석민님 - 데이터 넣을때 병렬처리를 적용하면 훨씬 빠르게 처리할 수 있어요!
- 채원님: span-BERT 모델 공부, fine-tuning된 모델로 돌렸는데 성능이 너무 낮았음, 3시에 은진님과 모델에 관한 토론
- 태현님: 스페셜미션 3, 4 학습. 알고리즘과 프리트레이닝 등 여러개 시도
- 은진님: 오전에 중간고사, 9강 이론만 빠르게 수강, 채원님과 방법론 조사 계획
- 종현님: 9, 10강 학습. 이발. curriculum learning 코드 참조해서 train/validation 분리 시도중,
- T5에 대한 내용 진행
- negative sampling을 사용
- 우리의 task에서는 예측 결과로 no-answer이 없음
- 그래서 무관한 아무 답을 반환하게 되어 있음
- no-answer를 추가해서 학습시키면 더 성능이 좋아질까?
- max-length 때문에 정답을 찾지 못한 것들을 제외하고 학습하면..? (--)가 좋아지지 않을까?
- (--)이유는 뭘까?
- 제외하고 학습하면 그냥 덜 학습하는 것과 다른것인가?(질문)

내일 까지 계획
---
- 나중에 앙상블 방법론에 대해서 토의하면 좋겠다
- 결과만 가지고 앙상블 하는 것 외의 방법..?
- bleu score rule base..?
- retrieval part에서 적용 가능..?