---
# System prepended metadata

title: 11.1 피어 세션
tags: [peer-session]

---

# 11.1 피어 세션

###### tags: `peer-session`


### 송민재 
- Strong trainer
    - 실패
    - 모델 학습 후 -> 긴 문장에 대해 재학습? 
- DPR + BM25
    - Encoder와 확률값을 바꿔서 재시도 해볼 것


### 백재형
- BM25 BERT, BM25 plus BERT, BM25 electra 비교 실험
top k에 따라서 성능이 달라져서 각각 성능이 가장 좋은 k가 있다.
- arguments를 좀 건드려보자
    - max_seq_length, doc_stride

### 홍석진
- ES valid 성능이 0.08?
    - 검증코드에 문제가 있을 확률이 높다
    - 코드에서 MRC train은 전처리가 되어있지 않아서 문제 발생
    - 수정후 결과 -> 


### 한진
- colbert pretrain모델의 많은 parameter가 학습에 사용되지 않음
- weight initialization
Linear에만 적용해야 할 것 같다.
Encoder에도 진행하면 pre-training 하는 의미가 없어진다.



### 정찬미
- 전처리 PR 올려둠!
    - aistage의 우리 팀 bset_prediction.json과 성능 비교 -> 정답이 다 나오지는 않음
    - 전처리 topk20 결과 -> 


### 이호영
- 내일 논문을 발표해주신다고 한다!!  
- Top-k 다르게 해서 train, inference

### 나요한
- topk 30하면 성능향상
- Retriever BM25 더 높일수 있을거 같다
- 
