---
# System prepended metadata

title: 211008 팀회고
tags: [팀 회고]

---

---
tags: '팀 회고'
---

211008 팀회고
===

활동 점수 (100점 만점) 
---

- T2001_강석민(10e5점): 데이터 전처리와 코드 리펙토링에 집중했고, 정보를 공유했다.
- T2053_김종현(70점): vscode, git 등 기본적으로 다룰 수 있어야 하는 것들에 익숙하지 않아 대회 코드를 적용할 때 힘들었다. 지난 대회에서도 같은 어려움을 겪었는데 대비하지 않은 점이 많이 아쉽다. 허깅페이스 트렌스포머 라이브러리 활용도 어려웠다. 대회 끝나면서 조금 익숙해진 것 같다. 허깅페이스에서 제공해주는 모델을 조금 수정해서 사용해보며 버트, 로베르타 모델 구조를 대회 전보다 깊게 이해할 수 있었다.
- T2066_김태현(70점): 강의수강 후 대회 코드 분석에 집중했다. 팀원들의 아이디어나 만들어주신 코드를 이해하면서 따라가는데 급급했기 때문에 아쉬웠다. 그래도 domain adaptation 관련 내용을 맡아서 찾아보면서 MLM을 적용해서 대회 데이터셋에 맞게 한번 더 pre-training 하는 방법을 알게 되었다.
- T2132_오동규(650점): 아쉬운 점이 참 많은 대회였다.
- T2145_윤채원(650점): 직접 코드를 구현하는데 있어서 기여하지 못한 것 같아 아쉽고 다양한 실험을 하지 못해서 아쉽다.
- T2231_최재혁(650점): 토큰들에 대해서 태그를 붙혀서 모델에 적용해보고싶어서 전처리를 시도했고, 이를 임베딩 레이어에 추가도 해보려는 시도를 했다.
- T2239_허은진(70점): hugging face 를 어떻게 사용하는지 감을 잡을 수 있었고, 초반에 강의를 듣느라 후반에 여러가지 방법을 적용하지 못해서 아쉬움이 남았다. EDA, AEDA, Special Token 수정 및 추가해서 실험을 진행했지만, 좋은 결과가 없어서 아쉬웠다. 

타임라인 21/09/27 ~ 21/10/07
---
- 210927 : 인공지능과 자연어, 자연어 전처리
- 210928 : BERT 언어 모델 소개, 한국어 BERT 모델 학습
- 210929 : BERT 언어모델 기반의 단일 문장 분류
- 210930 : BERT 언어모델 기반의 두 문장 관계 분류
- 211001 : BERT 언어모델 기반의 문장 토큰 분류
- 211005 : 베이스라인 코드 이해, 모델 파인 튜닝 진행
- 211006 : 코드 리팩토링, AEDA 적용
- 211007 : 하이퍼 파라미터 적용 및 최종 모델 정리
- 211008 : 랩업 리포트 및 팀회고 작성

(+)잘했던것, 좋았던것, 계속할것
---
- 모델을 편하게 사용하기
- AEDA, 하이퍼 파라미터 시도
- 시도할 방법들을 분담하여 다 같이 시도해 본 점
- 문장에 토큰들을 새로 추가해서 토큰화를 진행
- Output Layer를 여러가지 ML, DL로 수정

(-)잘못했던것, 아쉬운것, 부족한것 -> 개선방향
---
- 모델을 직접 제작하고 학습시키는 과정을 하지 못했다.
- 앙상블을 위해 stratified k fold 를 구현했으나 시도는 못했다.
- 첫째주를 강의듣고 공부하느라 다양한 실험을 못했던 점


(!)도전할 것, 시도할 것
---
- 모델 튜닝, 코드 구현을 다 함께 하기
- 깃 사용법 익히고 협업하기
- 아이디어 공유를 github issue 페이지 활용해서 시도해보기
- 앙상블을 적용해본다
- Data Augmentation을 더 다양하게해서 데이터 셋을 좀 더 좋은 데이터로 바꾼다.
- Pre-Trained된 모델을 다시 한번 학습을 시키는 과정을 시도한다.


(-)키워드(공부한 것,알게된 것, 느낀 점)
---

- 공부한 것
    - Huggingface 사용법
    - KLUE 벤치마크와 한국어 모델
    - Wandb, Hydra 등 파이썬 모듈
- 알게된 점
    - 자연어 처리부분도 점수올리기가 생각 만큼 쉽지 않다.
    - 데이터 전처리 과정이 생각만큼 쉽지 않다.
    - Pretrained 모델 적용하고 Custom하는 방법
    - 토크나이징 방식 변화
    - Data Augmentation의 중요성
- 느낀점
    - 👍 우리팀이 최고다
    - 🔥 우리팀 화이팅
    - 💪 ~~이제 올라갈 일만 남았다~~헷
    - 📚 다음 대회는 첫날부터 공부하고 적용해봐야겠다.