# Oral Feedback

## 老師
1. Q: FewVLM 訓練與 Predict 方式
- [x] 預訓練: MLM / PrefixLM, 推論: PrefixLM
2. Q: Pix2Seq 有包含的 Object
- [x] 365 labaels ([Object365 Dataset](https://www.objects365.org/overview.html))
3. Q: Patch 數量實驗
- [x] 須做實驗
4. Q: 論文最後結果最後放
- [ ] 先用數據鋪陳再放最後比較表
5. Q: Hint使用數量
- [x] 以完成
6. Q: 在inference 的實驗
- [ ] 詢問老師
7. Q: Image2text attention 取中點 -> 取平均
- [ ]
8. Q: PolyFormer用途

## 朱老師
1. Q: 可解釋性的意義
A: 我們是否能夠理解模型
2. Q: 第一個用prompt是FewVLM
3. Q: 為什麼Loss function使用Cross-Entropy 
A:
4. Q: Prompt-based vs. Low-resource

## 李老師
1. Instruction of task 的變化
- 不根據[Q]來變動
- 不見得效果好
2. Hint 順序
檢查hint差異度跟難度
4. 為什麼不使用相同模型
5. Hint 視覺化

## 黃老師
1. 找不到答案的case
2. $n_\text{bin} = 1000$
3. 為什麼使用Pix2Seq

## 阿雯
任務：記口委的問題
粉色口罩 黃老師
綠色口罩 李老師
朱老師
高老師

=== 晴雯的筆記 ===
Iccv 2015
VG 任務
Wsdm'23 toloka VQA Dataset
更具挑戰的 Visual Grounding
Region proposals
因為 2-stage 太依賴第一階段 rp 了，所以採用 1-stage pipeline，不過後者的缺點是缺乏可解釋性

Prompt tuning 在 ACL 22 A good prompt is worth a million params 裡面成功和 vl 結合：encoder-decoder based，但是生出的是 object detect answer。1. FewVLM VQA如何套用到 VG 2. Input method for img and q? 3. Supervision?
不透過 Fast(er) R-CNN 來 encode img，改參考 SimVLM（類似 ViT）：在 ViT 之前先過 cnn。
Loc tokens
用力臭一下其他人8張a100還輸我們家庭神
=== 口委的問題 ===
大概15：15開始
過程中都沒有問任何問題

1. 朱：我學到不少，謝謝。
2. 11頁已經summarize了主要解決的問題與可能的目標和優勢。優勢的部分，可解釋性如何評估比別人高？（庭：給錯誤的 hint 的確有辦法改變模型的 output）其他VG Models 如何定義他們的可解釋性？（庭：可解釋性是和1-stage比較）
3. 你們是最早的將動態prompt 引入 VG 任務的work嗎？（庭：算是）
4. P.34 為什麼用 CE Loss? 為什麼讓他變成分類任務？（回答沒聽懂，庭神自己看影片）
5. P.37 leaderboard 第一名的做法？
（庭：使用 ViT Adapter 去做 finetuned。依賴較複雜的模型與大量的資料）
6. Low-resource setting：在設計的過程中有無刻意去減少 resource consumption？（庭：沒有，主要是想利用 prompt tuning 的技巧在 VL 任務)
7. 李老師： instructional task 具體而言只有這句？IoQ的部分可以調整嗎？p.30（庭：對，要固定，引導效果才會穩定）
8. 有問題沒辦法找到對應 region 或需要多個 regions來回答嗎 ？
9. 我認為你的方法亮點是 hint design，hints 之間有先後順序與重要性關係嗎？（我感覺目前只有探討不同預訓練ofa產出的hint的品質。好像沒有去探討這件事，庭神回答的意思應該是目前當他們都是獨立的）老師覺得它們可以用其他方式結合看看。如果後面有人接手或extend，要不要看看 hint composition。
10. 黃老師：比賽資料集有些題目找不到答案對吧，這個要怎麼辦？（庭神：我沒有做這個）應該要 study 這些 cases
11. 不同 size 的 bbox 的 dictionary 值不一樣嗎？（庭神：ㄟ是用 bin 來看，我們最後的 size 是選 1000 當作 vocab size）。
12. P.12 pix2seq 為什麼要 supervise 這個模型呀 （庭神：一大堆話...）簡單來說就是只想用cross entropy loss？然後要想這整個架構的設計之類的因為以往的模型會有超多雜七雜八的 loss，還要考慮什麼 img-text alignment ，還要看文字產生的正確性啥的，但現在變成這樣所以要想要怎麼選擇合適的 loss
13. 提示的架構 prompt template p.30 有想換嗎？（我覺得老師的意思就是換句話問的結果如何？但這個prompt template 就是 discrete的，要換有超多種可以換）