211111 멘토링

--- tags: '멘토링' --- 211111 멘토링 === - 생성모델(BART, GPT, T5)의 출력설정에서 num_beams라는 옵션이 있는데 이것의 역할은 무엇인가요? - 대부분 생성모델은 기본적으로 Beam search방식의 decoding을 채택함 - 이 때, num_beams = n - greedy하게 뽑는데 개수를 정해서! - 저희 최종프로젝트로 Library를 만들기로 결정했습니다. 주 목적은 한국어 NLP의 활성화 입니다. 따라서 몇가지 주제를 정해보았습니다. 이 외에도 멘토님께서 이런게 있었으면 하시는 라이브러리가 있나요? 1. Pororo 라이브러리 개선 버전 2. 데이터 어그멘테이션 쉽게 해주는 모듈 3. 데이터 분석을 쉽게 해주는 시각화 모듈 - 한국어 쪽에 어떤 것이 필요한지는 많이 써보지 않아서 잘 모르겠다 - 각각에 대해서 왜 저런 라이브러리를 만들려고 생각했는지? 어떤점이 불편했는지? 정리되어 있으면 좋을 것 같다 - Pororo 라이브러리의 경우 T5모델이 없다 - huggingface가 업데이트되면서 최신화 되었는데, pororo가 huggingface 최신버전에서 동작하지 않는 문제를 해결 - 개선사항 외에 차별점을 가질 수 있는 것으로 새로운 라이브러리 만드는 것을 추천 - 만들 주제를 제한적으로 하는것도 괜찮다. ex) MRC 전용 데이터셋을 어그멘테이션을 해줌 - **문제 정의를 잘 해서 시작해야, 결과가 좋지 않아도 유의미한 프로젝트가 될 것 같다** - 새로운 것을 하거나 - 기존의 것과는 차별점이 명확한 것을 하거나 - 모델이 훈련중 내뱉은 결과에 대한 통계적 분석을 해주는 라이브러리 - 참고할 만한 영어쪽 library - 결국은 library를 이해하는 시간을 할애하지 않고 직접 구현하게 되어서 잘 모르겠음 - 이전 질문 중에 “NLP 에서의 fine tuning 시, huggingface 에서 제공하는 TrainingArguments 와 Trainer 모듈을 주로 사용하는 것으로 보이는데, 실제 fine tuning 할 때 이 방법이 표준이라고 보면 될까요? 혹은 실무에서의 다른 방법이 있다면 함께 알려주셔도 좋을거 같습니다.” 라는 질문이 있었는데, 멘토님과 주변에서는 잘 사용하지 않는다는 답변을 봤습니다. 그러면 pytorch로 custom하게 구현을 하시나요? - 허깅페이스를 많이 쓰다 보니 파이토치랑 점점 멀어져가고 있는데, NLP쪽에서 파이토치를 깊게 쓰는 경우가 많이 없나요? - research든 현업이든 torch를 많이 씀 - 엔지니어는 서빙단에서는 Tensorflow를 많이 씀 - 현재 Dacon에서 문서 요약 대회를 병행하고 있습니다. 혹시 요약모델 관련 대회에서 참고 할만한 팁 있을까요? - 요약문은 크게 2가지 task - 제공하는 문단 내 포함되는 내용으로 만들어야 하는건지 - 새롭게 생성해서 요약문을 만들어야 하는건지 - 같이 고민해보고 싶은 질문입니다. - 신경망에서의 W가 3천만개가 있습니다. 이 중 하나의 W를 아주 조금 그러니까 0.0001 만큼 바꾸면 학습 예제(정답 세트)들중 하나의 X에 대한 예측값 Y 즉, Y_pred은 얼마나 바뀔까요? - 2개에 따라 다름. 어떤 파라미터를 고르냐, 한번 학습한 모델이라면 최적화된 function이 무엇인지에 따라 다를 것이다 - w가 영향력이 있는 애라면 많이 바뀔것. (중요도에 따라 다르다.) - 레이어를 하나씩 제거하면서 어떻게 변하는지 실험하는 논문 존재 -> 실험적으로 확인해야함. 특성 파라미터의 중요도를 실험적으로 확인할 수 있음 - 위의 답을 생각할 때 Activation Function의 형태도 고려하셨나요? 보통 사용하는 Activation Function은 연속적입니다. 이것이 연속적이라는 것과 1번 질문의 관계는 어떻게 될까요? - 1번에서 값을 바꾸는게 역전파에 반영이 안됨. - 값의 구분을 극대화시키는 건데, 0~1로 스케일 되어있는 경우 값을 아무리 바꾸어도 0~1 사이이다? - Y_pred이 조금 바뀐다면 Loss는 얼마나 바뀔까요? 일단 Loss는 RMSE Loss라고 한정 합시다. 그렇다면 학습 예제 전체에 대한 Total Loss는 얼마나 바뀔까요? - Activation Function의 스케일과 연관지어서 생각 - 대학원 준비를 어떻게 하셨는지 궁금합니다! - 가고싶은 분야 + Lab Search - 관련 랩 컨택하고 가능하다면 인턴 - 연구 경험 쌓아보면서 맞는지/안맞는지 판단 - 일찍 판단이 섰으면, 진행중인 연구에 참여해서 연구 같이 진행 - 일단 인턴을 해보는 것을 추천함 - 인턴을 하면서 어느쪽이 맞는지 결정해보기 - 열심히 했다면 어느쪽으로 가든 준비가 이미 되어 있을 것 같음 - 멘토님은 박사 하시나요..? - 석사 마지막 학기 진행 중 - 안하게 될 것 같다 다음 멘토링 준비 --- - 논문 리뷰 가능 => 하고싶은 논문이 있다면, 미리 준비하기!