# GSS 2025/07/30

**Q. 檢定考試完成之後，我該如何提出費用申請呢?**
- latest_prompt_handling_node 沒有限制output format，回答single問題時常多問額外的 *"是否需要其他協助"問題* ，影響retrieve_and_compressor_node誤判single question導致不必要的追問

=== Final response ====
###Answer:
根據「專業考試檢定補助辦法」，您需憑三聯式發票及考試成績單或檢定合格證書提出費用申請。是否需要其他具體的程序步驟？
========== Retireved and compressed answer ===========
您是否已經取得三聯式發票及考試成績單或檢定合格證書？
========== End of retireved and compressed answer ===========

- 做法：在latest_prompt_handling_node也限制output format，指示LLM在回答single問題時不要生成任何額外問題

=== Final response ====
請提供三聯式發票及考試成績單或檢定合格證書。
- Based on Clause 三 of the retrieved information: "檢定考試完成之後，憑三聯式發票及考試成績單或檢定合格證書提出申請。"
========== Retireved and compressed answer ===========
請提供三聯式發票及考試成績單或檢定合格證書，以便申請費用。 
========== End of retireved and compressed answer ===========

(註：使用相同的retrieve_and_compressor_node prompt)

--------------------------------------------------------------
### 關於Rag Fusion
計算有無改寫subqueries所取得的top3交集數(樣本數41筆)：

#### 範例 (top3 交集2)
**Q. 誰需要遵守工作規則?**
1. 直接retrieve, rerank的top3：

[Document(id='9b76f76e-fac9-4afd-bec4-0f7bce92f2fe', metadata={'id': 0, 'reg_id': 1}, page_content='訂立目的\n公司編印工作規則的主要目的是，希望全體同仁均能熟知公司的經營理念，與公司提供給大家的褔利及人事制度，並規範勞資關係，讓同仁在工作上能夠有所依循，進而使同仁們了解自己在XX公司的權利與義務，並充分發揮大家的創造力與向心力，同時也協助新進人員快速進入工作狀況。'), 

Document(id='a70cf38e-0cd0-4145-ad2f-865c03a84a86', metadata={'reg_id': 67, 'id': 139}, page_content='合法使用軟體\n一、同仁應遵守公司所公佈之合法軟體使用政策。\n二、同仁不得在工作場所（包含公司或客戶之辦公室）行使各項屬侵犯智慧財產權之非法使用軟體行為(包括但不限於使用未經合法授權之軟體），如有違反，致第三人提起訴訟者，後果由員工本人負責。\n三、同仁不得在公司內或公司之電子設備上使用私人性或非公務需要之軟體，即使是合法的軟體，基於安全考量，請同仁配合禁止使用。'), 

Document(metadata={'id': 146, 'reg_id': 70}, page_content='辦公室安全\n一、不能明確指明所欲拜訪同仁姓名之訪客，應予禁止進入辦公室。\n二、禁止陌生人或推銷員進入公司。\n三、加班之同仁請隨時注意門窗、燈火、空調等安全，離去時請務必關機、鎖上門窗、關熄燈火、空調。女同仁上洗手間，請注意安全。\n四、訪客攜帶箱子、物品、機器等離開辦公室，均應予確認非公司之財產始得離去。\n五、辦公室溝通：請勿在辦公室大聲喧嚷，製造不雅之動作或聲音，亦不得干擾別人之工作、溝通或打電話。\n六、公司財物應妥為保管使用，且勿私自挪用，若有需要請先與總務聯絡。\n七、隨時注意保持環境整潔，並請隨手收拾廢棄物。下班或長時間離座時，請將桌上收拾乾淨，並關閉電腦螢幕，以延長其使用年限。\n八、公司之書籍、用品、磁帶等用完請歸原位。\n九、禁止在辦公室內煮東西。')]

2. 改寫為三個相關的subqueries：
* 哪些職位需要遵守工作規則？
* 哪些法律或政策要求必須遵守工作規則？
* 在不同行業中，哪些人群需特別注意遵守工作規則？

[Document(metadata={'id': 146, 'reg_id': 70}, page_content='辦公室安全\n一、不能明確指明所欲拜訪同仁姓名之訪客，應予禁止進入辦公室。\n二、禁止陌生人或推銷員進入公司。\n三、加班之同仁請隨時注意門窗、燈火、空調等安全，離去時請務必關機、鎖上門窗、關熄燈火、空調。女同仁上洗手間，請注意安全。\n四、訪客攜帶箱子、物品、機器等離開辦公室，均應予確認非公司之財產始得離去。\n五、辦公室溝通：請勿在辦公室大聲喧嚷，製造不雅之動作或聲音，亦不得干擾別人之工作、溝通或打電話。\n六、公司財物應妥為保管使用，且勿私自挪用，若有需要請先與總務聯絡。\n七、隨時注意保持環境整潔，並請隨手收拾廢棄物。下班或長時間離座時，請將桌上收拾乾淨，並關閉電腦螢幕，以延長其使用年限。\n八、公司之書籍、用品、磁帶等用完請歸原位。\n九、禁止在辦公室內煮東西。'), 

Document(id='7495a2ce-b7e6-4096-9022-e1ba5fa8bba5', metadata={'id': 117, 'reg_id': 56}, page_content='安全衛生\n本公司依法辦理安全衛生工作，員工應遵照相關規定配合辦理。'), 

Document(id='9b76f76e-fac9-4afd-bec4-0f7bce92f2fe', metadata={'reg_id': 1, 'id': 0}, page_content='訂立目的\n公司編印工作規則的主要目的是，希望全體同仁均能熟知公司的經營理念，與公司提供給大家的褔利及人事制度，並規範勞資關係，讓同仁在工作上能夠有所依循，進而使同仁們了解自己在XX公司的權利與義務，並充分發揮大家的創造力與向心力，同時也協助新進人員快速進入工作狀況。')]

--------------------------------------------------------

將single question誤判為multiple的原因：
- 前一個LLM(preanswer)如果誤判single multiple，或者是多問了不必要的問題都會導致接下來的compressor也一起誤判
- 前一個LLM(preanswer)若判斷正確，接下來的compressor也都判斷正確(不存在有presnawer正確但compressor錯誤的)

解決方案：將preanswer的prompt修改得更嚴謹一點，之前的注意力好像比較在compressor上面，不過我認為preanswer的輸出對於整個performance影響更大

**1-1. 誤判single**
[[{'role': 'user', 'content': '公司虧錢的話可以裁員嗎?'}, {'role': 'pre_answer', 'content': '###Answer: \n根據提供的資訊，公司在虧損或業務緊縮的情況下可以預告員工終止勞動契約。因此，若公司確實虧損，則有可能裁員。\n\n###Answer: \n是否已經證明公司確實虧損？'}, {'role': 'system', 'content': '公司若虧損，可以預告員工終止勞動契約。\n\n或\n\n是否已經證明公司確實虧損？ \n'}]

**1-2. 期望的輸出**
[[{'role': 'user', 'content': '公司虧錢的話可以裁員嗎?'}, {'role': 'pre_answer', 'content': '公司可以因虧損或業務緊縮而裁員，但需依法終止勞動契約並核發資遣費。\n\n- Based on "若有下列情事之一者，本公司得以預告同仁終止勞動契約，並核發資遣費。二、虧損或業務緊縮。"'}, {'role': 'system', 'content': '公司可以因虧損或業務緊縮而裁員，但需依法終止勞動契約並核發資遣費。'}]]

**2-1. 多問了不必要的問題**
[[{'role': 'user', 'content': '檢定考試完成之後，我該如何提出費用申請呢?'}, {'role': 'pre_answer', 'content': '###Answer:根據「專業考試檢定補助辦法」，您需憑三聯式發票及考試成績單或檢定合格證書提出費用申請。是否需要其他具體的程序步驟？'}, {'role': 'system', 'content': '您是否已經取得三聯式發票及考試成績單或檢定合格證書？'}]

**2-2. 期望的輸出**
[[{'role': 'user', 'content': '檢定考試完成之後，我該如何提出費用申請呢?'}, {'role': 'pre_answer', 'content': '請提供三聯式發票及考試成績單或檢定合格證書。- Based on Clause 三 of the retrieved information: "檢定考試完成之後，憑三聯式發票及考試成績單或檢定合格證書提出申請。"'}, {'role': 'system', 'content': '請提供三聯式發票及考試成績單或檢定合格證書，以便申請費用。 '}]