# 10조 화이트보드 팀 회고(automl)

# 좋았던 점

1. NLP를 하면 많이 쓰이지 않을 optuna를 원 없이 써볼 수 있어서 좋은 경험이 되었습니다.

2. Hyper Parameter 설정은 모델을 만드는 데에 있어 항상 난제였다. Optuna라는 좋은 도구를 통해 Hyper Parameter를 자동으로 선택할 수 있는 방법을 얻어서 좋았습니다.

3. 생각보다 pretrained 모델을 사용하는 것보다 주어진 태스크에 맞는 모델을 찾아서 tuning하는 것이 훨씬 가볍고 성능이 좋게 나올 수 있다는 것을 알았습니다.

# 아쉬웠던 점

1. optuna를 사용할 때 search space를 나눠서 automl을 사용하지 않은 것이 아쉬웠습니다.

2. 모델 경량화의 주된 방법인 Knowledege Distillation이나 Pruning을 실험은 해보았지만 결과로서 제출하지 못해서 아쉬웠습니다.

3. 여러 augmentation들의 적용 여부나 적용 순서, 입력하는 parameter들을 최적화 하지 못해 아쉬웠습니다.

# 앞으로 개선하면 좋을 점

1. 팀원 간의 결과 공유를 더 활발히 하여 빠르게 남는 서버가 없도록 실험을 효율적으로 진행하면 좋을 것 같습니다.

2. 더 빠르게 실험을 진행하고 모델을 돌려보는 것이 실제 결과 예측과 더 필요한 실험을 진행하는 데에 도움이 될 것 같습니다.