大型語言模型應用 1
===
###### tags: `GDG on Campus FCU`
講師：Alex Wang
日期：2024/11/21
課程影片：
{%youtube E_BaMJmTPiE %}
探討大型語言模型（LLM）的應用，包含如何開發聊天機器人及使用RAG技術來提升模型的準確性。
## 大型語言模型
#### 定義
大型語言模型是一種基於深度學習的AI系統，通過訓練大量文本數據來理解和生成自然語言，能夠進行文本生成、語言翻譯、情感分析等各種任務。
#### 主流模型介紹
1.AWS Titan：專為商業應用設計，具有高效的計算能力和可擴展性，適合大規模部署。
2.Llama：專注於生成高質量文本，適用於開發智能客服和對話系統，能夠理解上下文並生成連貫的對話。
3.Cursor：針對編程和技術問題的解決，擅長提供技術文檔和代碼片段的生成。
#### Prompt
##### 定義
用來引導大型語言模型生成特定輸出的文本提示。
##### 實際應用
1.在文本生成中，通過設計合適的Prompt，模型能夠生成特定風格或主題的文本。
2.在問答系統中，精心設計的Prompt可以幫助模型理解問題並給出更準確的答案。
## LLM聊天機器人
#### 與傳統聊天機器人的區別
LLM聊天機器人不受限於特定平台，可以在各種環境中運行，提供更靈活的服務選擇。
#### 介面
1.LLM聊天機器人的用戶介面設計應友好且直觀，支持即時對話和反饋。
2.提供多種交互方式，如文本輸入、語音輸入等，增強使用者體驗。
#### 回應機制
利用LLM進行自然語言的理解和生成，能夠根據用戶的輸入提供即時且相關的回應，並能持續學習和改進。
## 實作：串接Gemini API
#### 串接流程
1.建立專案：在Google雲端平台上創建新專案，選擇適合的API服務。
2.取得API Key：在專案中啟用Gemini API，並生成API Key以進行身份驗證。
#### 環境設置
使用`.env`檔案來存儲API Key，這樣可以有效地保護敏感信息不被公開
#### Terminal版實作
展示如何在Terminal環境中編寫Python程式碼來實作LLM聊天機器人，包含請求API和處理回應的過程。具體步驟包括：
1.安裝所需的Python庫（如requests）
2.編寫函數來發送請求並處理回應數據。
## 網頁版LLM聊天機器人的開發
#### 轉換過程
將原本的Terminal版聊天機器人轉換為網頁應用，提升使用者互動體驗。
#### 所需技術
1.Flask框架：用於建立後端服務，處理HTTP請求和響應。
2.HTML/CSS：用於前端展示，設計用戶介面，確保頁面美觀和易用。
3.JavaScript：用於增強頁面功能，如即時回應、用戶輸入驗證等。
#### 實作細節
提供完整的程式碼範例，說明如何將不同的技術串接起來，形成完整的網頁應用。
## RAG技術
#### 定義
一種結合檢索（Retrieval）和生成（Generation）兩個過程的模型架構，旨在提高大型語言模型的回答準確性和信息質量。這種技術通過引入外部知識庫來補充模型的內部知識，從而生成更具信息量和上下文相關性的回答。
#### 運作原理
1.檢索器：在接收到用戶的查詢後，系統首先會使用檢索算法從一個或多個知識庫中找到相關的背景信息。
2.生成器：檢索到的相關信息會被傳遞給生成模型，這一模型根據用戶的查詢及檢索到的背景信息，生成最終的回答。
3.知識庫：儲存大量結構化或非結構化的資料，支持快速檢索和分析。
#### 應用場景
1.客戶服務：在自動客服系統中，RAG可以幫助生成具體的產品信息或解決方案，根據客戶的查詢檢索相關的資料，提高回答的準確性和滿意度。
2.智能問答系統：在教育或知識查詢平台上，RAG可以根據問題檢索相關的學術文獻或在線資源，生成詳盡的答案，幫助用戶深入理解主題。
3.內容生成：在內容創作領域，RAG可以根據特定主題檢索相關資料，生成高質量的文章或報告，提升內容的可靠性和信息量。
#### RAG技術的優勢
1.準確性提升：通過檢索最新的信息，RAG能夠提供更準確和具體的回答，避免模型因為訓練數據的滯後而產生的錯誤。
2.靈活性：RAG系統可以根據不同的知識庫進行調整，使其能夠適應各種應用場景和需求。
3.信息補充：結合內部生成能力和外部檢索能力，使得模型能夠在知識範疇上不斷擴展，保持信息的更新和完整性。