# 11월 17일 피어세션 ###### tags: `peer-session` 해야할 일 - 메인 태깅 - 거의 완료 - 문장 단위가 아니라, 해당 문장의 앞 뒤 문장을 붙인 단위해보는 것 어떤가? - 교차 검증 전에 다시 명확하게 가이드 정하기 - 구글 스프레드 시트로 옮기기 (17일 저녁) https://velog.io/@changyong93/python-tagtog-%EB%B0%8F-google-sheet-%EC%97%B0%EB%8F%99 - 스프레드시트에서 라벨태깅 (18일 오전11시) - 교차태깅을 통해 - Fleiss' Kappa를 측정하여 inter-annotator agreement(IAA)확인 - 0.7이상(권장)과 가깝게 데이터 수정하고 명확하게 고치는 과정 - 새 데이터수집 후 프로세스 반복 iaa [권장 사항] Role 분배 (세팅) Tagtog 플랫폼에 문장 올리기 (1인) Relation map 작성 (2인) 가이드라인 작성 (3인) IAA 계산 (1인) 모델 튜닝 (2인) 문장 선정 문장 별 엔티티 태깅 및 레이블링 주어진 문장/엔티티에 대한 레이블링 파일럿 태깅 및 피드백, 가이드라인 업데이트 메인 태깅 가이드라인을 얼마나 잘 짰는가를 위해서는 계속 수정을 해야한다. ## 이력서(한글이나 독스로??!!?!?!?!?!?!?) 만들기!