# 10.14 피어 세션

[](https://hackmd.io/bIinvMyyS_6ik-mDWUa5WA)

###### tags: `peer-session`

## 진행사항
- WandB : Merge완료, 재형님이 검증부분 추가해주실 예정

https://stages.ai/competitions/77/discussion/talk/post/730

- TopK속도개선
- 저는 강의 듣고 관련 조사를 조금 했습니다.
- wandb eval tag 안나오는 문제
- 현재 상황: wandb에서 f1, EM이 eval/에서 나옴.
- 아직 문제점: eval/loss는 아직 찍히지 않음.
- eval의 loss가 나오는 부분을 살펴봤는데, prepare_validation_features과 prepare_train_features가 달라서 발행하는 문제입니다. prepare_validation_features에 정답 label을 넣어주지 않아서 evaluatoin에서 loss을 못구하는 상횡입니다. 그냥 prepare_validation_features을 train_feature 처럼 label만 넣어주면 해결될 것 같아 보입니다.

## Retrieval
- Dense Embedding
- FAISS?
- 문장과 지문간의 유사도
- 5강 http://www.cs.umd.edu/class/fall2018/cmsc470/slides/slides_12.pdf
- [RAG](https://jeonsworld.github.io/NLP/rag/)
- RAG는 최신 리트리버+리더 논문인데, 리더를 generation으로 해결합니다. 이 논문에서는 generation으로 해도 extraction 보다 성능이 좋다!고 말하고 있는데, 우리 task에도 적용이 될지는 미지수...eneration으로 해도 extraction 보다 성능이 좋다!고 말하고 있는데, 우리 task에도 적용이 될지는 미지수...
-
- 검증 방법?
- [Dense Passage Retrieval for Open-Domain Question Answering](https://arxiv.org/pdf/2004.04906.pdf)
- 요 논문에 리트리버의 검증방법이 나옵니ㅏㄷ! 강ㅇ의 ㄴ용에도 나옵니다! 5강리트리버의 검증방법이 나옵니다! 강의 ㄴㅐ용에도 나옵니다! 5강 <- ㄷㄷㄷ ㅋㅋㅋㅋ렉이 걸리면서 이렇게 나오네요 :+1:
 <- ㅋㅋㅋㅋㅋㅋㅋㅋ

## Reader
## Template Code 분석
https://mesquite-chevre-a7d.notion.site/Template-Code-0ebf0625f1c64eedb6b0024347ada5d5

## 읽어볼 자료
0
- 백재형
- RAG

- 홍석진
- elastic search

2
[The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)](http://jalammar.github.io/illustrated-bert/)
3
[Introducing BART](https://sshleifer.github.io/blog_v2/jupyter/2020/03/12/bart.html)
-
[Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer](https://arxiv.org/abs/1910.10683)
4
[Pyserini BM25 MSmarco documnet retrieval 코드 ](https://github.com/castorini/pyserini/blob/master/docs/experiments-msmarco-doc.md)
[Sklearn feature extractor ⇒ text feature extractor 부분 참고](https://scikit-learn.org/stable/modules/feature_extraction.html#text-feature-extraction)
5
- 송민재
[Dense Passage Retrieval for Open-Domain Question](https://arxiv.org/abs/2004.04906)
- 나요한
[Open domain QA tutorial: Dense retrieval](https://github.com/danqi/acl2020-openqa-tutorial/blob/master/slides/part5-dense-retriever-e2e-training.pdf)

6
- 정찬미
[Getting started with Faiss](https://www.pinecone.io/learn/faiss-tutorial/)

- 이호영
[Reading Wikipedia to Answer Open-Domain Questions](
https://arxiv.org/abs/1704.00051)

7
- 한진
[A survey on Machine Reading Comprehension](https://arxiv.org/abs/2006.11880)
[ACL 2020 ODQA tutorial](https://slideslive.com/38931668/t8-opendomain-question-answering)

[End-to-End Open-Domain Question Answering with Bertserini]()