# 11월 18일 피어세션
###### tags: `peer-session`

---
# 데이터수집

## 메인태깅
- 메인태깅완료

### 가이드라인 의논
1. '체커프로그램' -> 왜 기술인가?
앞서 '개발함'표시 뒤에 출시/발표/상업적 단어x

2. 서비스와 기술의 조건

해당 단어가 아닌 앞뒤 단어에 따른다.
예시: "제작했다", "출시했다", "공개했다", "개발했다", "제작한", "출시한", "공개한", "실제 사용자가 있ㅐ"

e.g. "제작했다"의 서술어는 기술보다 서비스에 많이 사용하기 때문에 서비스로 묶어야 한다.
기술 : 만들 개발, 형태가 있으면 기술이 될순 없나?
서비스 : 상업 출판 발표 출시 공개 제작

- 모델 => 모델 기술집합된건지 문장나와있지 않으면?
<블록을 쌓을 수 있는 로봇 팔> : 서비스 / 기술

정리: 상업, 출반, 발표, 출시, 공개 + 서술어가 "제작했다"

기술/서비스 단어 유형

- 기술 : 불을 다스리는 기술, 로봇 기술,
- 서비스 : ERP, 로봇, 제품,

2. 기술에 이론이 포함되는가?
4. 서비스 + 상품 + 제품?
5. 자연어처리에서 사용되고 있다고 했을때, 심층 인공신경망 구조 기술이 자연어 처리 기술의 하위 기술?
- 심층 인공신경망 구조기술은 자연어처리 뿐만아니라, 다양한 기술들에도 사용되는 기술인데, 하위 기술이라는 표현이 너무 어색하다.
- 4

### 어노테이터

### 헷갈리는 클래스들
- 서비스:출시일 <-> 기술: 개발일
- 기술:하위기술 <-> 서비스: 기반기술

## 검증
- Fleiss' Kappa를 측정하여 inter-annotator agreement(IAA)확인
- 찬미

## 모델돌려보기
- baseline 코드 선정하기 (로버타라지)
- 모델링 모델링 모델링 이야호
- 2명 (민재, 석진)
- 데이터불러오기
- 모델 작성

## 문서작성
- 가이드라인 수정 (많을수록 좋음) - 저녁까지 써보고, 오전 10시에 회의
- 재형, 한진, 호영, 요한 (저녁 11시 즈음)

## 가이드라인 Q&A

### 어노테이터를 인공지능에 배경지식이 있는

1. 서비스와 기술 정의(조건)(단어유형)
- 피어세션에 나왔던 기준들
- 각 엔티티를 A, B로 바꿔보기
- 서술어를 통한 제약 조건 걸기
- 출시하다,
- 기술의 범위를 좁히고 그외를 서비스로하기
- 서비스라는 용어 바꾸기
- 후보군 : 상품, 재화, etc..
- 경제적 가치가 있는지
- 문장 내부에 정보로만 유추할 수 있어야함.
- 사용자 혹은 사용 단체가 명시되어 있을 경우
- 기술과 서비스를 개발자가 만드려는 의도/
- 기술은 성능을 올리려고/ 서비스
2. 기반기술과 하위기술의 정의
- 기반 기술: 서비스(제품,상품,재화)를 만
3. 서비스와 기술 모두 가능한 애매모호한 단어는 Error 처리
- 아래 두가지의 제약조건을 모두 만족하지 못한 경우
- A는 B가 만든 프로젝트이다.

4. 외부 지식 : 인공지능 분야의 지식, 일반 적인 상식은 외부지식 X

## 이 모든 제약 조건은 문장 내부의 지식을 통해 검토 되어야함

#### 서비스 정의: 풀고싶어하는 문제를 해결하는 무언가를 만들고, 타인에게 보여줬다는 표현이 있으면 서비스라고봄.
1. 출시, 제공, 보여줬다, 선보이다, 발표했다 등[기술을 통해 잠재적 고객을 늘리는 행동으로 판단하여, 서비스] , 경제적 가치를 추구하는 단어들(산업, 사업)
2. 기술 제약조건을 검사했을 때, else로 들어가면 서비스

#### 기술 정의: 기술 제약조건이 맞는지 확인. 기술에 대한 제약조건 정의
1. 기술은 유형의 물질 X[기계, 상품] and 경제적 가치 X -> 논문, 학회, 대회 모델,
2. or 문제를 푸는 목적: 발전

#### 외부 지식 정의 : 전공의 영역. 상식에 포함되지 않는

#### 하위 정의: A는 B의 부분집합이라는 의미가 되는 단어가 포함되어야한다.
- A와 B의 단어가 종속의 형태로 포함되어있거나, 동등한 관계에 있을때. 부분집합으로 정의 하고, 하위나 기반이 될수 있다.

ex) ~의 분야에/ ~에 포함된 / ~에 기반한 / ~에 적용되었다. / 이용하여 /
no) ~통해 /

if 무형 & 경제적가치x or 문제목적==발전 or 학문 or 포괄적인 문제해결:
    return 기술
    
if 경제적가치 and "출시" or "제공" or "보여줬다" or "선보이다" or "발표했다" or "경제적가치를 추구하는 문장" -> 기업 or 특정 문제해결: 
    return 서비스

elif 애매모호 (ex) "이끌었다" or !"학문(사람) + 기업" 
    return ERROR
else:
    return 다시 고민필요

발전 vs 돈을 버는것이 둘다해당된다면?

## 작성 해야할 가이드라인

**1. 인공지능 : 기술 세부분류 가이드 작성**
- "인공지능", "자연어처리", "컴퓨터비전", "음성인식", "추천시스템", "CNN", "역전파", "신경망", "퍼셉트론", "데이터 마이닝", <- 기술에해당하는 것들
- "Model ODQA / LUKE / Transformer / BERT / Yolo 제외..?
- 기술 세부분류 가이드는 포괄적인 기술으로 정의하며, 어떤 경우에도 기술로 정의된다.

**2. 기술 / 서비스 분류 태깅**
2.1. "기술세부분류 가이드" 기반 태깅

2.2. 조건문 기반 태깅
- 유무형 여부, 경제적가치, 문제목적으로 기술 태깅
- 서비스 관련된 동사 포함시 서비스 태깅
- 기술을 이용, 사용하는 경우 서비스로 태깅 단,기술 세부분류에 대해서는 제외

3. 기술/서비스 하위/기반 분류 태깅
3.1. "하위 분류 가이드"기반 태깅
- A와 B의 단어가 종속의 형태로 포함되어있거나, 동등한 관계에 있을때. 부분집합으로 정의 하고, 하위나 기반이 될수 있다.
- ex) ~의 분야에/ ~에 포함된 / ~에 기반한 / ~에 적용되었다. / 이용하여 /
- no) ~통해 /

3. 외부 지식의 범위와 어노테이터의 배경지식
3.1. 기술 세부분류 가이드 외에 지식은 배경지식으로 간주 -> 문장내용으로 판단

4. 이외 지켜야하는 사항
- 문맥에 따른 의역
- "기술 용어를 창안했다"라는 문장을 의역하여 "기술을 개발했다"라는 의미로 확장 되면 안된다.
- 모델의 학습

---

### EDA 정리
* (만장일치 레이블 + 과반 이상) 레이블의 비율

합치가 되지 않는데 패턴이 있지 않을까?

QnA
이론은 개발기술인가요 출판물인가요?
{'인물:개발기술': 6, '인물:출판물': 1} 컨퍼런스에서 <sbj:뉴얼>과 사이먼은 "<obj:논리 이론>"을 소개했고, 매카시는 Artificial Intelligence를 그들의 연구를 칭하는 이름으로 받아들이길 설득했다.

"작성했고..."라는 말은 출판물인가요? 프로그램은 서비스인가요?
{'인물:개발기술': 5, '인물:출판물': 1, '서비스:출시주체': 1} 의미 망을 사용하는 <obj:첫번째 AI 프로그램>은 <sbj:로스 퀄리언>(Ross Quillian)이 작성했고 가장 성공이며 동시에 논쟁이 많았던 버전은 로거 섕크(Roger Schank)의 "개념 종속 이론(Conceptual dependency theory)"이다. 인물:개발기술
인물:개발기술이면 대부분 인물이있으면 태깅한다

## 이력서 제출
금일 자정 까지!

---
# 최종프로젝트
- 멘토님의 피드백을 보완한 뒤에 의논하기로
- 내일 멘토링시간에 피드백을 받고 내일 피어세션때 정하기!