---
# System prepended metadata

title: 11월 17일 피어세션
tags: [peer-session]

---

# 11월 17일 피어세션
###### tags: `peer-session`

해야할 일
- 메인 태깅 - 거의 완료
    - 문장 단위가 아니라, 해당 문장의 앞 뒤 문장을 붙인 단위해보는 것 어떤가?
    
- 교차 검증 전에 다시 명확하게 가이드 정하기

- 구글 스프레드 시트로 옮기기 (17일 저녁)
     https://velog.io/@changyong93/python-tagtog-%EB%B0%8F-google-sheet-%EC%97%B0%EB%8F%99
- 스프레드시트에서 라벨태깅 (18일 오전11시)

- 교차태깅을 통해 
- Fleiss' Kappa를 측정하여 inter-annotator agreement(IAA)확인
- 0.7이상(권장)과 가깝게 데이터 수정하고 명확하게 고치는 과정


- 새 데이터수집 후 프로세스 반복

iaa

[권장 사항]
Role 분배 (세팅)
Tagtog 플랫폼에 문장 올리기 (1인)
Relation map 작성 (2인)
가이드라인 작성 (3인)
IAA 계산 (1인)
모델 튜닝 (2인)


문장 선정
문장 별 엔티티 태깅 및 레이블링
주어진 문장/엔티티에 대한 레이블링
파일럿 태깅 및 피드백, 가이드라인 업데이트
메인 태깅

가이드라인을 얼마나 잘 짰는가를 위해서는 계속 수정을 해야한다.


## 이력서(한글이나 독스로??!!?!?!?!?!?!?)
만들기!