---
tags: '피어세션'
---

211122 피어세션
===

- 기록자 :
- 오늘의 한마디

진행 해야 될 것
---
- TodoList 리마인더
- 논문리뷰 무엇을 할까? => Don't stop pretraining 으로 결정.
- Don't stop pretraining 논문 리뷰 일정 정하기.

질문 정리
---

피어세션 진행
---

- [PALM 기반 한국어 T5 개선: 기계독해 및 텍스트 요약으로의 응용](https://www.koreascience.or.kr/article/CFKO202130060739838.pdf)
데이콘에 활용할 모델 탐색 중 유력한 후보.
전북대에서 학습시켰고 곧 공개될 예정

- Todo 공유
- 석민님: 1, 2강 수강, 데이콘 관련 공부, 이전 데이콘 문서 요약 대회 데이터 구함, gas와 energy 분야 문서들을 모아보았다.(pretrain에 활용할 예정, 전처리 필요)
- 동규님: 1, 2, 3강 듣고 4강 듣는 중, 김장 돕고 피어세션 참여
- 종현님: 1, 2강 수강, 1강 학습정리 완료, 페가수스 논문 읽고 공부 중, 석민님이 주신 링크 볼 예정
- 은진님: 1강, 2강 강의 수강 후 학습정리, 3강까지 다 들을 예정
- 채원님: 저녁에 2강까지 수강할 예정, Don't stop pretraining 논문 공부할 예정
- 태현님: 아프지마요 ㅠ, 1강 앞부분 보고있음, Don't stop pretraining 논문도 저녁에 볼 예정.
- 카카오브레인 패스파인더 코테 후기
- 투포인터 문제 나온거 같음..
- rest API 한 문제
- 기초적인 문제들이 나온 것 같음
- 최종 프로젝트를 위한 일정 관리
- 오전 경량화 대회 및 강의에 집중
- 오후 최종 프로젝트 준비
- Don't stop pre-training 논문 리뷰
- 수요일에 다같이 읽어온 내용 토론해보기
- 논문 읽으면서 질문도 생각해오기
- 학습계획
- 1,2강(월)
- 3강, 4강(화)
- 5강(수)
- 스페셜(목, 금)
- 최종프로젝트 역할 분담
- (1) 서비스/시스템 기획, (2) Back-end 개발, (3) Frond-end 개발, (4) ML 경량화, (5) 번역 모델 본
- 프로젝트가 ML-based 프로젝트이므로, (4), (5)번 역할을 반씩 나누고, (1), (2), (3) 번 역할을 분배해서, 캠퍼 한 명당 (4-5), (1-3) 중 하나씩 총 2개의 역할을 맡게된다면 이상적일 것 같습니다.
- 틀을 먼저 구현하기?
- 관련된 UI -> 템플릿찾기
- 서비스/시스템 기획
- 우선 우리가 만들고 싶은 게 뭔지 정의하기
- 채팅
- 노션으로 진행

- 번역 모델 코드
- https://github.com/huggingface/transformers/tree/master/examples/pytorch/translation

내일 까지 계획
---
- UI 템플릿
- 다국어 모델 공부
- (input, output) 확인
- etc
- 데이터셋 수집
- wmt
- 앞으로의 일정 계획
- 17일 까지 대부분을 완성하는 것을 목표
- 하나의 번역 모델 완성을 12월 3일까지 하는 것을 목표
- 1주차: 경량화 수업 들으면서 데이터셋 구하기, 다국어 모델 만들기
- 2주차: 학습한 모델 성능 올리기
- 3주차: 모델 경량화 작업
- 4주차: 모델과 연결 및 서비스 차원의 기능 구현