INTRODUCTION - HackMD

# INTRODUCTION <style> .parent {text-align: center;} .prof img { border-radius: 300px; -moz-border-image: border-radius: 300px; -webkit-border-image: border-radius: 300px; display: inline-block; max-width: 30%; max-height: 30%; width: auto; height: auto; margin: 0px; } </style> <div class="parent"> <div class="prof"> <img src="https://i.imgur.com/5ptrHrZ.png"> </div> </div> ### About Me Born in 1992, I am a task-driven deep learning researcher with 5+ years of experience, and have been working on Video Understanding as main topic since Master graduation. And also has NLP modeling experience, including NMT, chatbot etc. <details><summary>업무경력 소개 </summary><div> 5년차 머신러닝 엔지니어/연구자로 딥러닝 기반 Video Understanding(행위 인식, 비디오 캡셔닝)을 주력으로 연구했습니다. 행위/의도 인식, 핸드제스처 인식을 위한 커스텀 모델을 프로토타이핑하여 CES2019에서 시연한 경험이 있습니다. 다양한 프로젝트 경험을 토대로 딥러닝 프레임워크 2가지 (PyTorch, TensorFlow)를 능숙하게 사용하여 커스텀 모델을 개발할 수 있는 역량을 갖추게 되었습니다.  2019년부터 2022년까지 병원 AI팀에서 일하면서 환자의 헬스케어 개선을 위한 임상 보조 도구로서의 비디오 인식 애플리케이션 개발에 기여했습니다. 환자의 보행 비디오를 분석하여 특정 질환과 관련된 임상적 단서를 얻는 딥러닝 기반 접근 방법을 개발하였습니다. 또한, 의료진의 손길이 닿기 어려운 시간/공간에서의 환자의 행동 상태를 실시간으로 인식하여 안전 사고를 예방하는 딥러닝 모델을 개발하였습니다. 저의 시그니처 프로젝트는 [영상 보행분석 프로젝트](/dzGjNu5RTV25JwaCznewYQ)로, 고가의 보행분석 장비가 아닌 일반 카메라를 사용하기 때문에 일상 생활의 보행 패턴을 비교적 쉽게 분석할 수 있습니다. 보행자 이외의 인물이 등장하는 등 노이즈 요소가 많은 통제되지 않은 실제 보행분석 환경을 고려하여 신뢰도 높은 분석결과를 제공하는 것을 목표로 프로젝트를 기획하였습니다. 상용 보행분석 장비 GAITRite와 비교하여 0.8 이상의높은 agreement를 검증하였으며, 이와 관련하여 [저널 논문](https://www.nature.com/articles/s41598-021-90524-9)을 출판했습니다. </div></details> <details><summary>상세 경력기술서 </summary> <iframe src="https://drive.google.com/file/d/11E8LEiJys9mQv1_AgdObafmBxwrxVzR6/preview" width="100%" height="480" allow="autoplay"></iframe> </details> <details><summary>석사 연구분야/내용 소개</summary><div> 석사 기간동안 주로 연구했던 내용은 컴퓨터 비전과 자연어 처리를 위한 딥러닝 모델 개발 입니다. 연구하는 과정에서 비디오 캡셔닝, 행동 인식, 고문서 번역에 이르기까지 다양한 모델을 개발했습니다. - **Context-Aware Video Captioning**, 2017.03~2019.01 비디오 캡셔닝에 많이 사용되는 방법 중 LSTM을 사용하여 메모리를 구현하는 방식은 과거 장면 간의 선후 관계, 인과 관계와 같은 컨텍스트를 파악하는데 한계가 있습니다. 왜냐하면 LSTM은 1D 벡터에 모든 정보를 담으려고 하기 때문입니다. 게이팅 메커니즘을 통해서 정보량을 조절하기는 하지만, 먼 과거의 정보까지 1D 벡터 하나에 담기에는 무리가 있습니다. 반면, 컴퓨터 메모리의 read/write 메커니즘을 신경망으로 모방한 DNC(Differentiable Neural Computer)는 여러 주소 값을 갖는 2D 메모리 행렬에 데이터를 read/write할 수 있기때문에 과거의 정보를 보다 효과적으로 활용할 수 있습니다. 따라서, 이 연구에서는 과거 장면에 대한 히스토리를 2D 메모리에 기록해 두었다가 다음 장면에서 다시 불러와 사용할 수 있는 DNC를 도입하여 컨텍스트를 효과적으로 관리하는 방법을 구현하였습니다. ActivityNet Captions 벤치마크 데이터셋에 대한 실험 결과, 컨텍스트를 반영하여 BLEU/METEOR 평가 점수를 각각 19%/10% 개선하였고, 당시 SOTA 방식에 필적하는 성능을 얻었습니다. 또한, After/Then, Begin/End 등과 같은 컨텍스트를 파악해야만 만들어낼 수 있는 단어로 문장을 구성하는 것을 확인했습니다. 이로부터 석사 학위논문을 작성하는 성과를 낼 수 있었습니다. :::info **[:arrow_right: 자세한 내용은 노션 페이지를 참고해주세요. :arrow_left:](https://checker-zinnia-239.notion.site/Long-term-Context-Modeling-for-Dense-Video-Captioning-8f6cb04fb8ac4e0aafb1e75d394162bb)** ::: - **Neural Machine Translation**, 2017.05~2018.11 초서체로 작성된 고문서 이미지를 인식하고 번역하는 프로젝트에 참여하였습니다. 프로젝트에서 seq2seq 기반 번역모델 개발을 담당했습니다. 처음에는 성능이 잘 나오지 않아서, 그 원인을 파악하기위해 유독 성능이 낮게 나오는 문장을 샘플링 해보았습니다. 특정 지명, 특수 관직명과 같은 등장빈도가 낮은 고유명사 단어를 이루는 문자가 character-level 토큰화 과정에서 unknown으로 처리 되는 것이 원인이었습니다. 타겟 문장에서 고유명사가 괄호로 표기된다는 것에 착안하여, 파이썬 정규 표현식을 사용한 고유명사 추출 과정을 추가하여 고유명사에 대한 어휘 사전을 구축하였습니다. 그리고 이 어휘 사전을 이용하여 고유명사 토큰화를 추가적으로 수행하여 문자와 고유명사 임베딩을 함께 학습하는 seq2seq 모델을 구현하였습니다. 그 결과, character 임베딩만 사용한 seq2seq 모델 대비 47%의 향상된 번역성능을 얻을 수 있었습니다. 이로부터 1편의 국내 컨퍼런스 논문과 1편의 해외 컨퍼런스 논문을 주저자로 작성하는 성과를 낼 수 있었습니다. :::info **[:arrow_right: 자세한 내용은 노션 페이지를 참고해주세요. :arrow_left:](https://checker-zinnia-239.notion.site/Translation-of-Traditional-Korean-Literature-5a30861d1b38407fada709f2efe29def)** ::: - **Human Behavioral Intention Recognition**, 2018.12~2019.01 비디오를 분석해 액션을 인식하고, 더 나아가 인식된 액션 시퀀스로부터 의도를 파악하는 모델을 개발했습니다. 인식된 각 액션 레이블을 RNN에 입력하여 순서상의 consensus에 기반하여 의도를 분류했습니다. 의도인식 프로토타입을 개발하여 CES2019에서 결과물을 홍보하였습니다. 이 과정에서 딥러닝 모델의 프로토타이핑에 필요한 Docker, Flask, gRPC 등 다양한 툴의 사용법을 익힐 수 있었습니다. :::info **[:arrow_right: 자세한 내용은 노션 페이지를 참고해주세요. :arrow_left:](https://checker-zinnia-239.notion.site/Explicit-Human-Intention-Recognition-d97d841c51a940cb8dd8a1337800bf28)** ::: </div></details> <details><summary>석사과정 연구 포트폴리오 (2017-2019) </summary> <iframe src="https://drive.google.com/file/d/1vZnxgtw501Dq23ivpzp1YIxTK7uIYfFN/preview" width="640" height="480" allow="autoplay"></iframe> </details> <br> Hope you like my Portfolio ;^) :::warning 프로젝트 overview는 [PROJECT BOOKS](/2eNSrBf5TaC8D6fB3kx-oA) 에서 확인할 수 있습니다. :::