Try   HackMD

210910 팀 회고 & 피어세션

피어세션

  • level3 팀 회고
  • max_pad_len에 관한 토론

활동 점수 (100점 만점)

  • T2001_강석민(90점): 설명을 잘해주시고, 자기주도학습이 많이 주어져서 좋았다. 그러나 강의에서 나온 세세한 부분은 깊은 설명이 부족하여 강의수를 늘리더라도 좀 더 자세한 설명이 있다면 좋겠다.
  • T2015_김강민(80점): 백신을 맞아서 몸이 아파 많이 참여가 어려웠지만 이론강의와 과제를 최대한 진도에 맞출려고 했다. BLEU에 대한 이해와 LSTM의 backpropagation과정을 좀 더 깊게 이해하고 싶다.
  • T2087_박성호(80점): torch.multinomial 관련 부분이 궁금해서 멘토님께 여쭤봤는데 제대로 해결을 못했다. 관련 공부를 더 해보고 다시 질문을 드려야겠다. 블로그 포스팅을 잘 해서 뿌듯.
  • T2178_이홍규(-50점): 과제 하나를 못 풀어서 내내 멘탈이 나가있었다. 팀에서 최악의 트롤러💩 + 빌런😈 포지션이었던 것 같다. 죄송합니다. <– 자기비하는 좋지않습니다..! 이번주 고생하셨어요! ㅠㅠ… 감사합니다… :-D
  • T2179_임경현(90점): forwarding과정을 세세하게 설명해주셔서, 잘 이해할수 있었다.
  • T2237_한진(95점):세세한 부분까지 하나하나 설명해주셔서 너무 감사했다.

타임라인 09/06 ~ 09/10

  • 210906: 1~2강 + 필수과제 1 + 선택과제
  • 210907: 3~4강 + 필수과제 2
  • 210908: 5강
  • 210909: 6강 + 필수과제 3
  • 210910: 데이터시각화

(+)잘했던것, 좋았던것, 계속할것

  • 필수과제 코드를 해야될 부분 뿐 아니라 전체를 분석한 점
  • 강의 이외에 필요한 내용 검색 (ex. RNN 성능향상 방법)

(-)잘못했던것, 아쉬운것, 부족한것 -> 개선방향

  • 참여를 못할 경우가 많았다 ㅠㅠ
    • 다음주에 열심히 참석하면 된다:)

(!)도전할 것, 시도할 것

  • 딥러닝 프레임워크를 간단하게 만들어보자
  • multinomal 목적(심화학습)

(-)키워드(공부한 것,알게된 것, 느낀 점)

  • 공부한 것
    • NLP소개, BoW, Naive Bayes Classifier
    • Word2Vec, GloVe
    • RNN과 LSTM, GRU
    • Seq2Seq with Attention
    • Beam Search & BLEU Score
  • 알게된 점
    • NLP는 과거의 데이터를 최대한 살리는 방향으로 진화한다.
  • 느낀점
    • 언어적 지식이 많이 필요할 줄 알았는데 그렇지 않아서 할만했다.
Last changed by 
 
NLP18
0
134

Read more

210918 팀 회고 & 피어세션

&#xD53C;&#xC5B4;&#xC138;&#xC158; level3 &#xD300; &#xD68C;&#xACE0; &#xD65C;&#xB3D9; &#xC810;&#xC218; (100&#xC810; &#xB9CC;&#xC810;) T2001_&#xAC15;&#xC11D;&#xBBFC;(90&#xC810;): &#xC774;&#xBC88;&#xC8FC;&#xB294; &#xB110;&#xB110;&#xD574;&#xC11C; &#xAE4A;&#xAC8C; &#xACF5;&#xBD80;&#xD560; &#xC218; &#xC788;&#xC5C8;&#xB2E4;. T2015_&#xAE40;&#xAC15;&#xBBFC;(88&#xC810;): &#xC774;&#xD574;&#xAC00; &#xB418;&#xC9C0; &#xC54A;&#xC740; &#xAC15;&#xC758;&#xB97C; &#xC5EC;&#xB7EC;&#xBC88; &#xB4E4;&#xC5B4;&#xBCFC;&#xB824;&#xACE0; &#xB178;&#xB825;&#xD568; &#xC544;&#xC9C1; &#xC774;&#xD574;&#xAC00; &#xB418;&#xC9C0; &#xC54A;&#xB294; &#xAC83;&#xB4E4;&#xC740; &#xCD94;&#xC11D;&#xAE30;&#xAC04; &#xB3D9;&#xC548; &#xCC44;&#xC6CC; &#xBCFC; &#xC608;&#xC815; T2087_&#xBC15;&#xC131;&#xD638;(60&#xC810;): &#xAC15;&#xC758;&#xC5D0; &#xB300;&#xD55C; &#xC774;&#xD574;&#xB3C4;&#xAC00; &#xB5A8;&#xC5B4;&#xC838;&#xC11C; &#xBCF5;&#xC2B5;&#xC744; &#xB108;&#xBB34; &#xB9CE;&#xC774; &#xD588;&#xB2E4;. LaTex&#xB97C; &#xB611;&#xB611;&#xD558;&#xAC8C; &#xC368;&#xBCF4;&#xC790;. T2178_&#xC774;&#xD64D;&#xADDC;( -1 * exp(20)&#xC810;): &#xD560; &#xB54C;&#xB294; &#xB9CE;&#xC774; &#xD798;&#xB4E4;&#xC5C8;&#xB294;&#xB370; &#xC5B4;&#xCC0C;&#xC800;&#xCC0C; &#xD074;&#xB9AC;&#xC5B4;&#xD558;&#xACE0;&#xB098;&#xB2C8; &#xC624;&#xD788;&#xB824; &#xC7AC;&#xBC0C;&#xB294; &#xAC70; &#xAC19;&#xC558;&#xB2E4;. &#xD300;&#xC6D0;&#xB4E4;&#xC5D0;&#xAC8C; &#xBBFC;&#xD3D0;&#xB97C; &#xB108;&#xBB34; &#xB9CE;&#xC774; &#xB07C;&#xCCD0;&#xC11C; &#xC8C4;&#xC1A1;&#xC2A4;&#xB7FD;&#xB2E4;...

Sep 17, 2021
210917 멘토링

&#xD3EC;&#xC9C0;&#xC154;&#xB110; &#xC778;&#xCF54;&#xB529;&#xC5D0;&#xC11C; &#xC65C; Sin, Cos&#xB97C; &#xC4F0;&#xB294;&#xAC00;? &#xC8FC;&#xAE30;&#xC758; &#xADDC;&#xCE59;&#xC131;&#xC774; &#xC77C;&#xC815;&#xD574;&#xC11C; &#xC720;&#xB2C8;&#xD06C;&#xD55C; &#xC704;&#xCE58;&#xB97C; &#xAD6C;&#xD560; &#xC218; &#xC788;&#xB2E4;. &#xC65C; Post-Layer Normalization&#xC774; &#xBB38;&#xC81C;&#xAC00; &#xB418;&#xB294;&#xAC00;? &#xC544;&#xC9C1; &#xB17C;&#xC7C1;&#xC911;(&#xC9C4;&#xBA85;&#xD6C8;&#xB2D8; &#xAC15;&#xC758; &#xC911;, &#xC774;&#xC720;&#xACBD; &#xBA58;&#xD1A0;&#xB2D8; &#xB2F5;&#xBCC0;) Transformer&#xC5D0;&#xC11C; Gradient Vanishing

Sep 17, 2021
210916 피어세션

&#xC9C8;&#xBB38; &#xAFB8;&#xB7EC;&#xBBF8; (&#xAC1C;&#xC778;&#xB2F9; 2&#xAC1C; &#xD544;&#xC218;) BERT&#xC5D0;&#xC11C; classsification &#xBB38;&#xC81C;&#xB97C; &#xD480; &#xB54C; CLS&#xD1A0;&#xD070;&#xC758; &#xB9C8;&#xC9C0;&#xB9C9; &#xB808;&#xC774;&#xC5B4;&#xB97C; &#xC774;&#xC6A9;&#xD574; &#xADF8; &#xC704;&#xC5D0; linear layer&#xC744; &#xBD99;&#xC5EC; &#xD47C;&#xB2E4;&#xACE0; &#xD588;&#xB294;&#xB370; SEP&#xD1A0;&#xD070;&#xB9CC; &#xC368;&#xC11C; &#xD480; &#xC218; &#xC788;&#xC9C0; &#xC544;&#xB2D0;&#xC9C0;? &#xB9C8;&#xC9C0;&#xB9C9;&#xC774; &#xC544;&#xB2CC; CLS&#xB97C; &#xB530;&#xB85C; &#xB450;&#xB294; &#xAC78;&#xAE4C;&#xC694;? / BERT&#xC758; CLS token: &#xC65C; &#xC5EC;&#xAE30;&#xB85C; &#xC815;&#xBCF4;&#xAC00; &#xC9D1;&#xC911;(?)&#xB420;&#xAE4C;? (Classification&#xC744; &#xC65C; &#xC598; &#xAC00;&#xC9C0;&#xACE0; &#xB9CC; &#xD558;&#xC9C0;?) &#xCC38;&#xACE0;&#xC790;&#xB8CC; GPT2&#xC5D0;&#xC11C; Few shot&#xC744; &#xD1B5;&#xD574; &#xC131;&#xB2A5;&#xD5A5;&#xC0C1;&#xC744; &#xC774;&#xB918;&#xB2E4;&#xACE0; &#xD558;&#xB294;&#xB370; &#xBAA8;&#xB4E0; training &#xC774; few shot&#xC774; &#xC544;&#xB2CC;&#xC9C0;?? few shot&#xC73C;&#xB85C; &#xC131;&#xB2A5;&#xD5A5;&#xC0C1;&#xC774; &#xC774;&#xB8EC;&#xAC8C; &#xC544;&#xB2CC;, zero-shor, one-shot, few-shot&#xC911; few-shot&#xC774; &#xAC00;&#xC7A5; &#xC131;&#xB2A5;&#xC774; &#xC88B;&#xB2E4;&#xB294; &#xC124;&#xBA85;

Sep 16, 2021
210915 피어세션

GPT &amp; BERT &#xC815;&#xB9AC; &#xBA58;&#xD1A0;&#xB9C1; &#xB2F5;&#xBCC0; &#xD1A0;&#xB860; &#xD559;&#xC2B5; &#xBAA9;&#xD45C; - &#xAC01; &#xC9C8;&#xBB38;&#xC5D0; &#xB2F5;&#xD558;&#xBA74;&#xC11C; &#xAE4A;&#xAC8C; &#xACF5;&#xBD80;&#xD558;&#xAE30; ELMO&#xAC00; &#xB4F1;&#xC7A5;&#xD558;&#xAC8C; &#xB41C; &#xBC30;&#xACBD;&#xC740;? GPT&#xC640; BERT&#xAC00; &#xAE30;&#xC874; &#xD2B8;&#xB79C;&#xC2A4;&#xD3EC;&#xBA38;&#xC640; &#xCC28;&#xC774;&#xC810;&#xC740;? GPT-1 &#xC5D0; &#xCD94;&#xAC00; &#xB41C; &#xAE30;&#xB2A5;&#xC740; &#xBB34;&#xC5C7;&#xC778;&#xAC00;? &#xAE30;&#xC874; GPT-1&#xACFC; BERT&#xC758; &#xCC28;&#xC774;&#xC810;&#xC740;? BERT&#xC758; &#xD1A0;&#xD06C;&#xB098;&#xC774;&#xC800; &#xBC29;&#xBC95;

Sep 15, 2021
Read more from NLP18
Published on HackMD