--- tags: '피어세션' --- 211008 스페셜 피어세션 === 공유한 내용 --- [고창용 캠퍼] - shell script 사용해서 여러 모델 한번에 돌림 - google sheet에 log를 자동으로 기록하는 것 - wandb에서 slack으로 학습 종료 알람을 줄 수 있음 - baseline코드 분석 - train.py만 실행하는데, 이후에 한줄한줄 어떻게 실행되는지 살펴봄 - Augmentation - RTT, AEDA 해보았음 - RTT는 효과 좀 있었는데 - AEDA는 효과를 못봄 - Label 안에 entity type이 많이 달랐는데, 이런 것도 영향을 주는 건지 모르겠음 - 자는 시간 빼고 zoom에 다 같이 모여서 학습했음 - task를 구분할 때, 명확히 이 일을 해야하는 것인지에 대해 많이 토론했음 - 상대방을 이해시키면서 학습했음 [정희영 캠퍼] [박재형 캠퍼] - 2등 조 - 하드보팅, 소프트보팅 - 하지만 싱글모델이 성능이 더 좋았음 - klue/roberta-large - 여러가지 Augmentation 시도 - 모델을 통과한 결과를 dense layer에 넣지 않고 LSTM에 적용 - 팀 시간 효율 관리 - branch를 기능별로 짜야하나? - 처음엔 zira, trello 같은 협업 툴을 많이 찾아봤음 (git 사용 제한이 많았음) - 업무는 slack으로, 가벼운 이야기는 kakaotalk에서 - git에서 issue에서 현재 자신이 하고 있는 것들을 공유하면서 정리함 - 분업해서 대회 진행 - 다른 그룹이 한 분야에 대해서 무지해 지는 것이 단점 [전상민 캠퍼] - Augmentation - 라벨당 불균형한 데이터를 늘려주면서 개선해야 효과가 있음 - 그런데 이번에 데이터가 적어도 잘 분류해서 Augmentation이 큰 효과가 없었던 것 같음 - Confusion-Matrix를 참고해서 구분하지 못하는 상위 라벨이 전부 no-relation과 관련됨 - 분업에서 스타트 하는 것은 좋은 것 같다 - 첫 주 개인이 연구 - 둘째 주 팀 분업 - 게더타운을 많이 활용해서 모여서 공부하면 좋은 것 같음 - 다같이 있어도 따로 얘기하고 싶은 부분을 따로 얘기하고 [한진 캠퍼] - 진행을 맡아서 하심 - 강의를 좀 소홀히 듣고 실험을 시도했는데, 후회함 - 첫 베이스 라인 돌려보기 - epoch 바꿔보기, input 바꿔보기, EDA 해보기 등 바로 해보기 - 컨퓨전 메트릭스를 볼 수 있는 옵션이 wandb에 있음 ← 많이 참조 [https://wandb.ai/wandb/plots/reports/Confusion-Matrix--VmlldzozMDg1NTM](https://wandb.ai/wandb/plots/reports/Confusion-Matrix--VmlldzozMDg1NTM) - baseline 코드 분석 - 일단 돌려보고 - 고치고 싶은 부분 찾아서 바꿔보고 - 충돌나면 고치고 고치고 하는 방식 - Augmentation - AEDA 적용한 것이 가장 좋았음 - 분업을 하고 싶었는데, 이상적으로 구성원이 나누어지지 않을 것 같아서 시도하지 않음 [이다솔 캠퍼] - Data imbalance 최적화 함 - klue 논문을 쭉 읽으면서 적합한 모델을 찾음 - 팀내에서 3그룹으로 나누어서 대회 진행 - 3인은 모델, 3인은 전처리 등.. - 최대한 많이 만나서 일 진행 - 그룹을 소수로 나누니까 오히려 질문 하는 것이 쉬워졌다 - 팀이 오래가니까 역할을 바꿔서 하면, 분야에 대한 이해는 줄어들 것 같다. - 그룹간의 공유도 중요한 것 같은데 그부분은 아쉽다 - 모각공은 밤에 자율적으로 하고, 실습코드 live share로 주석을 달아서 기능 구현 [서동건 캠퍼] - roberta에 LSTM 사용(Bi-directional 2레이어) - 이 때 성능이 75까지 올라감 - 여기에 K fold cross validation까지 적용했던게 제일 좋은 결과가 있었음 - 전처리 - 예시) 이순신과 무신의 관계는?[SEP]이순신은 조선 중기의 무신이다. - 앙상블 - csv 30개까지 앙상블 시도해봄 - Data Augmentation - AEDA, Random entity masking, deletion, swap 4가지 방법 적용 - 적용안하는게 성능이 더 나음 - Pre-training - 효과 없음 - Back translation - 효과 없음 - Entity Marker 등 전부다 적용했는데 LSTM보다 효과 별로였음 MRC 준비하시는 분 있나요? - 따로 준비하고 있지는 않음 - 그냥 huggingface를 어떻게 사용하는지 최대한 익힌 것 같음 --- - 앙상블로 인해서 점수가 상승함 - XLM roberta Large를 썼으나 생각외로 점수가 안나옴 - back translation - type entity marker