---
tags: '팀 회고'
---

211203 팀회고
===

활동 점수 (100점 만점)
---
- T2001_강석민(50점): NLP와 관련된 대회가 아닌점이 좀 아쉬웠다. 그래도 NLP에 사용될 내용을 많이 배웠다.
- T2053_김종현(40점): 대회에 집중하지 못했다. 베이스라인 코드를 보거나 관련 라이브러리 튜토리얼을 공부하며 나름 얻어가는 것이 있어서 좋았다.
- T2066_김태현(40점): Module을 추가해서 모델탐색을 적절히 시도해보지 못한점이 아쉽다. 제공되는 강의를 온전히 이해하지 못하고 넘어가는 것들이 많았다.
- T2132_오동규(85점): optuna를 이용해 AutoML을 실행하는 방법과 여러 최적화의 개념들에 대해 알게 되어 좋았다.
- T2145_윤채원(50점): 최적화 자체가 생소하다 보니 제대로 집중하지 못함. 공부도 소홀히 한 듯하다.
- T2231_최재혁(100점):
- T2239_허은진(60점): optuna 사용법을 익힐 수 있었고, 최적화에 대한 전반적인 개념을 잡을 수 있었다. 최종프로젝트와 병행하느라 시간관리를 잘 못한 것 같아서 아쉽다.

타임라인 11/22 ~ 12/03
---
- 211122: 최적화 소개 및 강의개요, 대회 및 데이터셋 소개
- 211123: AutoML 이론 및 실습
- 211124: Data Augmentation & AutoML 결과 분석
- 211125: RandAugmentation 구현 및 Visualize
- 211126: Model Search 코드 작성하기, DB & 실험 분석 API 연동하기

- 211129: DB 연동해서 실험돌리기 연동해서 실험돌리기
- 211130: 실험 진행
- 211201: 실험 진행
- 211202: 실험으로 찾은 모델 구조를 기반으로 heuristic한 방법으로 파라미터를 조정해 성능 올리기
- 211203: 회고회고 리포트리포트

(+)잘했던것, 좋았던것, 계속할것
---
- 우리가 사용하는 기기들은 어떻게 경량화 되는지 알게되는 계기가 되었다.
- AutoML의 기초를 알 수 있어 좋았다. 관련 라이브러리를 사용해본 경험도 도움이 될 것 같다.
- 기준에 미치지 못하는 trial을 빠르게 종료시키기 위한 간단한 아이디어를 적용해 실험을 효율적으로 수행할 수 있었음.
- 데이터베이스를 이용해 study object를 공유하고 더 빠른 실험을 수행할 수 있었음.

(-)잘못했던것, 아쉬운것, 부족한것 -> 개선방향
---
- 더 많은 실험 결과를 제출해보지 못 한 것.
- NLP대회가 아닌점
- 서버 제출방식이라 평가가 오래걸리거나 에러가 많이 난 점.
- AutoML 방식 뿐 아니라 Knowledge distilation, Network pruning 등 더 많은 경량화 방법들을 시도해보지는 못 한 점.

(!)도전할 것, 시도할 것
---
- NLP 모델 경량화
- KD 구현 => 모델을 하나만 올리도록 훈련에폭을 구현

(-)키워드(공부한 것,알게된 것, 느낀 점)
---
- 공부한 것
- AutoML, NAS, Yaml, Optuna, Depth-wise Convolution Layer, Inverted Residual
- 느낀점
- 범용적으로 적용할 수 있는 경량화 방법들을 배울 수 있어서 좋았음.