--- tags: '피어세션' --- 211026 피어세션 === - 기록자 : 은진님 - 오늘의 한마디 - "가지마..ㅠㅠ" 진행 해야 될 것 --- - TodoList 리마인더 질문 정리 --- 피어세션 진행 --- - Todo 공유 - 동규님: 시각화 강의, back translation 코드 구현 - back translation 문제: 카카오 사용, 정답만 masking 하면 문장에서 아예 사라져서 다른 방법으로 구현, 긴 문장 번역 잘 안됨 - 석민님: 엘라스틱 서치 자동화 스크립트 구현, 리트리버 성능 확인, dpr 훈련해봤는데 엘라스틱 서치하는게 나을 것 같아서 미룸, 위키 기반으로 질문을 만들려고 했는데 반말로 나와서 존댓말로 바꿔주는 방법 찾는 중 - 채원님: LSTM, Conv layer 만들었으나, 모델을 저장하는 부분에서 문제 발생. 논문 읽기는 아직, 다른 방법으로 시도해보면 해결할 수 있을듯. - 태현님: fine-tuning model 찾다가 다국어 모델에 대해 잘 모르겠어서 찾아봄. 실험 돌리는중. koelectra 기본모델을 파인튜닝해보자 - 은진님: T5 학습 시키는중, base 모델로 점수 살펴보니 EM 54점 정도(small보다 14점 상승), 나중에 large 모델도 한번 돌려볼 예정, 앙상블로 사용할수 있을것 같음, 학습되는 동안 논문 찾아보고 cs 공부 예정 - [석민님이 보내주신 링크](https://hackmd.io/O1ndKhCbR7W5ewpTfqrUvg) - 종현님: 전처리, 맥북 구경 - 재혁님: elastic search 90%성능까지 끌어올리는 방법 고민 - 재혁님의 고민.. - 취업성공해서 퇴소 절차를 밟아야 하는가 - 회사, kdt, 팀원 ok -> 운영진에게 필요 절차 묻기 - 가.지.마.. - LSTM 적용 문제 - 새로운 모델 클래스를 생성할때 torch를 사용하기 때문에 AutoModel~~ 이 아닌 LstmModel() 사용해야함 - lstmModel사용을 위해 모델 저장시 model.save_pretrained 를 할 때 torch.save를 사용 - 이 때 저장하는 방법이 다르기 때문에 inference시 문제 - 5번째 실습파일 참고해서 해결 - nn.Module에서 MyModel.from_pretrained()를 사용하면 됨 - Elastic search Error 수정 - 노션에 실험결과 공유 내일 까지 계획 ---