---
# System prepended metadata

title: 10.01 금요일 멘토링
tags: [mentoring]

---

# 10.01 금요일 멘토링

###### tags: `mentoring`

# 사전질문 1
test set을 제외하고 sampling한 후 학습 추천

StratifiedKFold는 Overfitting은 어느정도 불가피하고 data augmentation을 진행하는 게 좋아보임


## h2증강기법
 - tableGAN
 - Interpolation
 - SMOTE


# 사전질문 2

코드 설명 자세히 적어서 param의 위치에 대한 정보도 알아두기
코드 리뷰 시 코드 한줄한줄 자세하게 볼 예정
대회 진행 중에도 논문 하나씩 정리해서 피어세션 때 나눠보기
Tranformer 관련 논문들 위주로 읽어보는 것 추천

num_workers는 잘 동작하지 않음(torch에도 나와 있음)
paralleling 하는 방법 연구
batch size를 늘리려면 모델 경량화를 적용해야함(신경 써야할 것이 많음)

# 사전질문 3
overfitting 고려해야함
데이터마다 다르기 때문에 검증 필요함

# Downstream task 학습
eval loss가 급격하게 변하는 곳에서 원인을 찾아내야함
-> k fold 문제일 가능성이 있다.

# 학습에서 Epoch 영향
epoch에 정답은 없음
loss가 벌어지면 안됨
한정된 상황에서 GPU는 계속 돌아가야 함 - GPU는 계속 돌리고, 분석은 그 사이에 진행
colab 등으로 작은 크기로 test

Hyperparameter 바꿔서 꼭 실험을 하고 겹치지 않게 실험을 한다.
model을 바꾸기 애매할 때 lr을 바꿔서 최적화를 진행한다.

# 사전질문4
학습을 위해 task가 쉽게 만들어진 것

# 사전질문5
tokenizer마다 결과가 조금씩 다를 수 있음
huggingface tokenizer가 가장 안전함
sklearn tokenizer, nltk tokenizer, 트리뱅크 tokenizer, snowball tokenizer

# 사전질문6
dictionary 형태가 학습하기 더 편함 - key가 중복되지 않고 key를 통해 value를 가져올 수 있음

# 사전질문7
oversampling, undersampling -> smoothing
검증을 통해 layer 수 조정

# 추가질문
모델에서 klue로 학습시킨 것들이 좋은 성능을 보여주고 있는데 한국어로만 학습해서 인가요?

NLP에서 제일 중요한 부분이 tokenize 부분이다.

대회 데이터는 tokenize가 잘 되어있는 데이터 - huggingface에 특화된 데이터
실제 데이터는 tokenizer를 사용하지 못하는 경우도 있음 - 수기로 corpus 만드는 경우도 있음

kaggle 같은 외부 대회를 참여하면서 좋은 부분은 대회에 적용하는 것이 좋다.