---
# System prepended metadata

title: 10.28 피어 세션
tags: [peer-session]

---

# 10.28 피어 세션 
###### tags: `peer-session`
## 이호영

### 논문 발표
- A Thorough Examination of the CNN daily mail reading comprehension task
https://github.com/nlp-hakdang/paper-is-all-you-need

## 한진

- 데이터에서 리트리버로 넘어갈 때 확인
- Sparse retrieval : 한정되어 있음
- Dense retrieval : 
Representation-based Retriever : 강의에서의 DPR
interaction -based retriever : documen의 token양이 많아서 연산량이 많아짐
representation-interaction : 두 개의 장점을 합친 것

* survey 논문 : https://arxiv.org/abs/2101.00774


## 나요한

- QA데이터셋 종류들
    - TriviaQA(short answer), 
    - SQuAD 1.1(ground truth 답안이 많이 존재하는 형태)

- LUKE 시도 중 (QA(SQuAD1.1) Task SOTA)
    - huggingface를 통해 활용하려 했으나, 불가능한 형태
    - github 소스코드를 활용해 현재 SQuAD 데이터 학습 진행중 -> 추후 대회 데이터셋에 맞게 학습진행
    - LUKE 아이디어: entity 추가 삽입(title을 통해서 예측) -> 머신이 이해할 수 있는 Entity-aware Self-attention

    - entity를 title로 왜 넣는지?
        - 기존에 알던 entity는 사람, 기관, 장소, 날짜, entity를 LUKE모델이 question을 보고 entity를 유추해서 좀더
        

- Reader 모델 (추천!)
    - UnitedQA, LUKE, DilBERT, ProQA, T5(generative)

## 송민재
- 반성
### DPR
- 11epoch top10 : 59%

### DPR + BM25

### BM25 종류바꾸기

### Tokenizer의 영향

### Validset바꾸기


## 홍석진

- Elastic search index settings 구현 

    - 이를 위한 불용어(stopword)파일 만듬
    - 아직 성능을 더 늘릴 수 있는 방법을 찾아보기도 할 것

- (Baseline code에 이식하기) -> 최대한 inference.py code를 건드리지 않고 상속받는 형식이나 class 및 function 형태로 구현

## 정찬미

- 데이터 전처리 argument.py에 넣기

## 백재형

- Reader를 알아보는 중

- topk 문서 분류 : append를 하는 형태(baseline)
    - 길이로 EDA해봤는데 평균적으로 700자라서 512의 roberta에도 잘라서 들어가게 된다.
    - 합치기까지 하면 더 커짐
    - DRQA 논문을 찾아봄 (자르지 않고 따로따로 넣음 잘라도 분리를 해놓음)
    - 문서별로 구분을 한다는 것 - 그렇게 바꿔봐야 하나? 싶은 상황


train context를 추가해주는 것도 방법이지 읺을까?