# 12/12 研究成果報告
:::info
時間：12/12
地點：-
參與：xiaojie4082
:::
:::info
時間：12/25 04:00~06:50
地點：-
參與：xiaojie4082、wei、starleisure
:::
:::info
時間：12/26 04:30~07:10
地點：-
參與：xiaojie4082、wei
:::
:::info
時間：12/28 08:30~10:50
地點：-
參與：xiaojie4082
:::
:::info
時間：1/3 03:30~05:00
地點：-
參與：xiaojie4082、starleisure
:::
:::info
時間：1/8 10:50~12:00
地點：-
參與：xiaojie4082
> 寫到 "課程資訊模組、校園助手模組、系統優化與測試"
> 課程資訊模組需列出三個操作指令流程
> 校園助手模組須提到指令
:::
## 中、英文摘要及關鍵詞 (keywords)
- 摘要
```!
隨著數位科技的快速發展，校園中的資訊傳遞與交流方式面臨重大轉變。然而，現有校園資訊平台普遍存在資訊分散與互動性不足等問題，導致學生經常遭遇資訊不對稱與取得困難的挑戰。本研究提出一個創新的解決方案，結合生成式 AI 技術與互動平台，以改善校內資訊流通效率並強化行政單位以及師生間的互動。
本研究基於 Discord 開發了一個智慧型互動平台，整合聊天機器人功能與生成式 AI 技術。該平台通過公共頻道與科系專屬頻道，提供即時的校園資訊服務，包括最新消息、天氣狀況、課程評價與公車動態等功能。平台的互動式設計讓用戶能直接與機器人對話，解決日常校園生活疑問，降低行政單位的負擔。研究結果證實，此平台成功解決了現有系統的關鍵問題，顯著提升資訊獲取效率與使用者體驗。本研究不僅為校園智慧化發展提供實證參考，更展現了數位科技在教育領域的創新應用潛力。
關鍵字：生成式 AI、Discord Bot、智慧校園、資訊整合
```
- Abstract
```!
With the rapid advancement of digital technology, campus information delivery and communication methods are undergoing significant transformation. However, existing campus information platforms commonly suffer from scattered information sources and limited interactivity, leading to information asymmetry and accessibility challenges for students. This study presents an innovative solution that combines generative AI technology with an interactive platform to enhance information circulation efficiency within the campus and strengthen the interaction between administrative units, faculty, and students.
This research developed an intelligent interactive platform based on Discord, integrating chatbot functionality with generative AI technology. Through public channels and department-specific channels, the platform delivers real-time campus information services, including news updates, weather conditions, course reviews, and bus schedules. The platform's interactive design enables users to communicate directly with the bot, effectively addressing common campus-related inquiries while reducing the workload of administrative units.The results demonstrate that the platform successfully addresses the key issues of existing systems, significantly improving information accessibility and user experience. This study not only provides empirical reference for smart campus development but also showcases the innovative potential of digital technology in educational applications.
Keywords: Generative AI, Discord Bot, Smart Campus, Information Integration
```
## 一、研究目的
```!
1.1. 研究動機
隨著數位時代的快速發展，校園資訊的傳遞與交流方式需要與時俱進。目前校園資訊管理系統普遍存在效率低下和使用體驗不佳的問題，無法有效滿足師生對即時性與互動性的需求。面對這些挑戰，開發一個整合性的智慧校園平台已成為當務之急。
本研究以 Discord 作為核心平台，結合生成式 AI 技術與聊天機器人功能，期望建立一個更便捷、高效的校園資訊互動環境。在現行的校園資訊管理方式中，資訊往往分散在多個獨立的系統平台，不僅增加了使用者的操作負擔，也容易造成重要訊息的遺漏。此外，現有校務平台缺乏即時互動機制，使得校園內的溝通效率低落，無法滿足現代化校園的需求。因此，本研究將開發一個智慧化的整合平台，以改善現有校務系統的不足，提升校園資訊服務品質。
1.2. 研究問題
本研究針對現有校園資訊平台存在的問題進行深入探討。首先是資訊零散化的問題，校園資訊分散於電子郵件、公告系統等多個獨立平台，使用者需要在不同平台間頻繁切換，不僅降低資訊獲取效率，也增加了重要訊息被忽略的風險。其次是互動機制不足的問題，現有平台缺乏即時且有效的行政與師生間互動管道，導致行政單位與師生之間的溝通成本過高。最後是智慧化程度不足的問題，現有校務平台無法提供個人化的服務，大量依賴人工處理的作業方式不僅耗時費力，也難以滿足使用者對即時性服務的需求。
此外，在應用生成式 AI 技術時，也面臨多項技術性挑戰。首先是模型微調的問題，需要大量的校園領域專業資料進行訓練，同時要確保模型能準確理解特定場域的特定用語。其次，提示詞設計必須兼顧準確性和靈活性，既要能精確引導模型生成符合校園需求的回應，又要適應多樣化的使用情境。在使用者反饋收集方面，除了要建立完善的評價機制外，還需要設計適當的資料標註流程，以持續優化模型效能。
1.3. 研究目標
為解決上述問題，本研究訂定以下研究目標。首要目標是建構整合型社群平台，運用 Discord 建立校園資訊交流中心，透過公共頻道與科系專屬頻道的設置，實現資訊的集中管理與高效傳遞。其次是開發智慧型互動系統，整合聊天機器人技術，提供自動化的資訊查詢服務，建立即時回應機制，以提升使用者體驗並減輕行政負擔。
在生成式 AI 技術應用方面，本研究著重於三個關鍵層面的優化策略。（一）透過模型微調（Fine-tuning）技術，建立校園特定領域的資料集進行模型訓練，提升回應的準確性與相關性；（二）優化提示工程（Prompt Engineering），設計結構化的提示模板，確保 AI 能夠生成更符合使用者需求的回應；（三）建立完善的使用者反饋機制，透過即時的互動評分及意見收集，持續改進模型性能與服務品質。
系統建立了完整的評估機制，定期收集與分析使用數據，持續優化平台功能與服務品質，確保系統能不斷精進並回應使用者需求。透過實現上述目標，期望能為校園打造一個智慧化的資訊互動平台，不僅提升資訊傳遞效率，更能促進校園各層面的有效溝通與協作，最終實現智慧校園的願景。
```
> (1.2. 研究問題) 另一項挑戰是如何在保護個資的前提下，讓AI系統能夠提供個人化服務，這涉及資料脫敏、隱私保護等關鍵技術的運用。這些技術性挑戰不僅影響系統服務品質，也直接關係到校園智慧化轉型的成效。
## 二、文獻探討
- 大型語言模型
- https://www.techrxiv.org/doi/full/10.36227/techrxiv.23589741.v1
- https://www.techrxiv.org/doi/full/10.36227/techrxiv.23589741.v6
- 預訓練、語料庫
- https://proceedings.mlr.press/v202/du23f/du23f.pdf
- https://hdl.handle.net/11296/5vbjtk
- 提示工程
- https://arxiv.org/pdf/2302.11382
- https://www.infocomm-journal.com/znkx/article/2024/2096-6652/2096-6652-2024-6-2-115.shtml
- AI 幻覺
- https://www.nature.com/articles/s41537-023-00379-4
- https://www.airitilibrary.com/Article/Detail/P20240124001-N202408020009-00007
- ~~聊天機器人應用~~ (超過篇幅，略)
- https://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi/ccd=N9LaDJ/search?s=id=%22107STUT0396005%22.&searchmode=basic
- https://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi?o=dnclcdr&s=id=%22105CCU00392055%22.&searchmode=basic
- https://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi?o=dnclcdr&s=id=%22105CCU01652005%22.&searchmode=basic#XXX
- https://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi?o=dnclcdr&s=id=%22112VNU00706001%22.&searchmode=basic#XXX
```!
2.1. 大型語言模型應用與挑戰
大型語言模型（Large Language Models, LLMs）作為人工智慧技術的重要分支，透過其深度學習架構與預訓練機制，在自然語言處理領域展現出卓越的潛力。Hadi等人（2023）指出，LLMs能有效處理和理解大規模文本數據，從中習得語言的內在規律與語意關聯（Hadi et al., 2023）。近年來，LLMs的應用範疇不斷擴大，在醫療領域協助醫療人員分析病歷文本、輔助診斷決策；在教育方面則作為個人化學習的輔助工具，提供適應性的學習支持（Hadi et al., 2024）。特別值得注意的是，隨著技術的進步，LLMs展現出強大的跨模態整合能力，新一代的語言模型能夠同時處理文本與圖像信息，為人機互動帶來新的可能性（Hadi et al., 2023）。
然而，LLMs的發展過程中也面臨許多挑戰。根據 Hadi 等人（2024）的研究，模型訓練過程需要大量的運算資源，這不僅帶來龐大的成本壓力，同時也引發環境永續性的討論（Hadi et al., 2024）。其次，模型輸出的品質深受訓練資料影響，網路來源的訓練資料可能包含潛在偏見，這些偏見可能在模型的輸出中被系統性地放大。從技術發展的角度來看，LLMs的可解釋性問題仍待解決，模型決策過程的不透明性，使得在某些重要領域（如醫療診斷或法律諮詢）的應用受到限制。
加強對模型偏見的系統性研究，透過改進資料集的多樣性來提升模型的公平性。在資源使用效率方面，採用分散式運算或模型壓縮技術的研究也持續推進中。這些技術創新與實務應用的相互推動，正帶動著LLMs的快速進展，而這一切的核心基礎，都建立在紮實的預訓練技術之上。
2.2. 大型語言模型預訓練
大型語言模型的預訓練技術為自然語言處理帶來重大突破。通過大規模語料庫和深度神經網路結合，LLMs展現了卓越的語言表徵學習能力。這些模型多採用無監督學習，透過最大化語言生成的機率掌握語句的內在結構與語義關係（Du et al., 2023）。
在技術結構上，詞嵌入學習（Word Embedding）與上下文建模是核心要素。從早期的Word2Vec到GPT（Generative Pre-trained Transformer）、BERT（Bidirectional Encoder Representations from Transformers）等進階結構，模型的語義理解能力顯著增強（Chen, 2019）。其中，GPT系列採用自回歸結構，能基於上下文進行準確的文字預測與生成。BERT則採用雙向編碼器結構，在理解文字語境方面展現優勢。
LLMs的遷移學習能力尤為突出，僅需少量資料即可快速適應新任務。在強化學習應用中，LLMs更可提供語言指導，提升智慧代理的決策效率（Du et al., 2023）。然而，預訓練仍面臨挑戰，包括需要龐大的計算資源與高品質資料，且低質資料可能導致「人工智慧幻覺」現象，在需高精準度的應用場景特別值得關注。
2.3. 提示工程
提示工程（Prompt Engineering）作為一種新興的技術領域，致力於設計和優化輸入提示以提升大型語言模型的輸出品質。這項技術在自然語言生成、內容推薦以及互動式應用等方面展現出顯著成效，特別是在提升對話系統的回應品質方面發揮重要作用。
在實務應用中，提示工程展現出多元的技術特點。White等人開發的角色提示模式（Role Prompts）使語言模型能夠依據特定場景需求調整其回應風格，這種技術在教育輔助等領域展現特殊價值（White et al., 2023）。研究指出，逐步引導提示（Chain-of-Thought）技術能夠將複雜問題拆解為多個推理步驟，使聊天機器人的回應更具邏輯性和可理解性（HUANG et al.，2024）。此外，自動化提示工程（APE）的發展進一步推動了這一領域的進展，透過自動化生成和篩選提示的方式，不僅提升了模型效能，還降低了人工設計提示的工作負擔（Huang et al., 2024）。
2.4. 人工智慧幻覺
生成式人工智慧（Generative AI）特別是大型語言模型（LLMs）在近期的發展中，雖然展現出強大的語言生成能力，但其「人工智慧幻覺」（Artificial Hallucinations）現象已成為重要的研究議題。人工智慧幻覺指的是人工智慧系統產生的內容雖然表面上合理，但實際上可能與事實不符或完全虛（陳鍾誠、廖先志, 2024）。
人工智慧幻覺的產生與LLMs的結構及訓練方式有密切關聯。這類模型普遍採用Transformer結構，透過大規模語料庫進行訓練以掌握語言模式。然而，這些模型缺乏真正的語義理解能力，主要依賴統計機率來生成回應。當遇到超出其知識範圍的問題時，模型可能會產生看似合理但實為虛構的答案，這些幻覺內容往往具有相當的說服力，足以誤導專業使用者。Emsley的研究便指出，在測試ChatGPT生成的學術參考文獻中，發現大量不存在或不準確的引用，凸顯了AI幻覺對學術研究可信度的潛在威脅（Emsley, 2023）。
```
## 三、研究方法
### 1\. 系統設計與架構
這部分應當詳細說明你的系統設計邏輯，列出各個模組的功能與其在整體架構中的角色。可以參考以下架構：
- **整體架構概述**：說明系統是如何結合不同技術平台（如 Discord、爬蟲技術、生成式 AI）以解決校園資訊不對稱問題。
- **模組劃分**：介紹每個功能模組的目的、技術實現及與其它模組之間的交互。
- **架構圖**：提供清晰的架構圖，顯示資料庫、Discord Bot、功能模組之間的關係。
```!
3.1. 系統設計與架構
本系統整合了 Discord 平台、爬蟲技術以及生成式 AI，目標是建立一個智慧化的校園資訊平台，解決傳統校園資訊系統中分散化和互動性不足的問題。透過 Discord Bot 作為核心互動介面，使用者能以簡單的指令操作，實現多項功能，包括校園公告通知、課程資訊查詢、天氣動態更新以及即時公車時刻查詢等。同時，系統整合生成式 AI，提供校園助理服務，能依據使用者需求進行個性化回應與建議，進一步提升整體使用者體驗。
整體架構中(圖一)，Discord Bot 負責接收使用者的操作指令，並根據指令類型與定時任務需求，向相應的功能模組傳遞操作訊息。功能模組在接收到需求後，與資料庫進行互動，執行查詢、寫入或更新等操作，並將處理結果回傳給 Discord Bot，由後者進行最終的訊息回應。系統中的功能模組包括最新公告模組、天氣資料模組、公車資訊模組、課程資訊模組與校園助理模組，各模組在系統架構中扮演著不同的角色，共同完成資料處理與資訊傳遞的核心任務。
其中，最新公告模組負責定時從校園網站的最新公告中獲取最新的公告內容，並自動推送通知給使用者；天氣資料模組利用氣象 API 獲取最新氣象數據，提供使用者檢視；公車資訊模組則透過運輸資料流通服務平臺 API 取即時公車到站資訊，以供使用者檢視；課程資訊模組整合校內課程相關數據，能快速回應使用者的課程查詢需求；校園助理模組結合生成式 AI，處理使用者提交的個性化請求，並將回應內容記錄至資料庫中，並且記錄訊息的狀態及反饋。
```
```plantuml
@startuml
skinparam monochrome true
package "系統架構" {
database "資料庫 & API" as Database {
[生成紀錄]
[課程資訊]
[即時公車時刻]
[氣象數據]
[最新公告]
[Gemini]
}
node "Discord Bot" as Bot {
[指令觸發]
[定時任務]
}
package "功能模組" {
[最新公告模組] as NewsModule
[天氣資料模組] as WeatherModule
[公車資訊模組] as BusModule
[課程資訊模組] as CourseModule
[校園助理模組] as AIModule
}
' Discord Bot 與模組互動
定時任務 --> NewsModule : 獲取新公告並通知
定時任務 --> WeatherModule : 獲取最新天氣資訊
定時任務 --> BusModule : 獲取即時公車資訊
指令觸發 --> CourseModule : 提交課程查詢指令
指令觸發 --> AIModule : 提交校園助手請求指令
' 模組與資料庫互動
NewsModule --> 最新公告 : 查詢
WeatherModule --> 氣象數據 : 查詢
BusModule --> 即時公車時刻 : 查詢
CourseModule --> 課程資訊 : 查詢
AIModule --> 生成紀錄 : 寫入
AIModule --> "Gemini" : 請求
}
@enduml
```
### 2\. 平台選擇與評估
- **平台選擇與理由**：選擇 Discord 伺服器作為主要的使用介面，並解釋此平台的優勢（如開放性、即時性、用戶便捷性等）。
- **數據收集與儲存**：討論資料收集的來源（例如爬蟲抓取的校園資訊、天氣數據、交通數據等）及其儲存方式（資料庫設計、數據格式）。
```!
3.2. 平台選擇與評估
在評估多元平台解決方案時，Discord 的開放架構與使用者導向設計凸顯其作為系統核心平台的優勢。該平台提供完善的應用程式介面與開發支援，不僅確保系統擴展性，更能滿足即時通訊與資訊共享的需求。Discord 的頻道分類機制為解決校園資訊分散問題提供了有效途徑，透過科系與功能導向的資訊分區管理，建構起系統化的資訊傳遞網絡。
在數據管理策略方面，本研究採用混合式架構，整合本地資料庫儲存與即時應用程式介面調用。針對具持久性特質的數據元素，如最新消息、課程資訊及校園助手對話歷程，採用 SQLite 作為主要儲存方案。SQLite 憑藉其輕量化特性與嵌入式架構，不僅便於系統部署，更提供高效能的查詢機制，充分滿足應用場景需求。此資料庫方案確保了資料儲存的結構化與存取效率的最佳化。
針對具時效性要求的數據類型，如天氣資訊與公共運輸動態，系統採用即時應用程式介面進行資料擷取，捨棄本地儲存機制。此策略不僅確保資訊時效性，更能有效降低系統資源占用，避免冗餘數據累積。這種差異化的數據管理方法充分體現了系統設計的靈活性與效能導向特質。
```
### 3\. 功能模組開發過程
- 介紹各模組（如最新消息模組、天氣模組、公車模組等）的開發過程，如何使用 Python 套件或 API 串接來達成數據自動化與功能實現。
- 提到聊天機器人與 Discord 整合的實作步驟、API 套件的選擇，並解釋關鍵技術細節。
```!
3.3. 功能模組開發過程
系統功能以模組化設計為核心，通過將不同功能拆分為相互獨立的模組來實現，確保系統具有良好的可擴展性、易於維護性和高效性。每個模組均專注於特定功能，並通過清晰的介面與其他模組進行交互，實現協同運作。這種設計方式不僅降低了開發過程中的耦合性，也便於日後根據用戶需求進行功能的增強和修改。以下詳細介紹各功能模組的開發過程及其核心技術。
```
```!
3.3.1. 最新消息模組
本模組使用爬蟲技術從校園官網收集最新公告，透過過濾和排序提取關鍵內容，並存儲在 SQLite 資料庫中。用戶可透過命令獲取嵌入式訊息形式的最新公告，內含標題、簡介、發布日期和連結。
在資料來源與內容擷取方面，本模組以靜宜大學官方公告平台為主要數據來源。基於該平台結構化的特性，模組能夠有效識別並擷取公告的關鍵要素，包含反映主題內容的標題、指向詳細內容的超連結，以及便於快速理解的內容摘要。這些元素的整合使得資訊傳遞更為完整且便於使用者理解。
在數據處理流程中，模組首先執行資料提取作業，從公告列表中識別並擷取最新資訊。系統會對擷取的超連結進行格式驗證，必要時將相對路徑轉換為絕對 URL，以確保連結的可用性。隨後，模組透過訪問詳細內容頁面，從 meta 標籤中提取描述性文字作為摘要，並進行必要的文本淨化處理，去除可能存在的 HTML 標記，確保輸出格式的一致性。
```
```!
3.3.2. 天氣模組
本模組主要是為了讓使用者掌握即時天氣狀況，使用中央氣象署的開放資料平台，收集了包含溫度、濕度、降雨機率、風速等各種天氣資訊。透過定期連接氣象資料開放平臺的API，自動抓取最新的天氣數據。在處理這些數據時，我們會先依照不同地區和時間來分類，再把溫度和風速等資料轉換成統一格式，讓資料更容易理解和使用。
為了讓使用者更方便查看天氣資訊，我們一樣設計了嵌入式訊息，把重要的天氣資訊，像是當天的最高溫、最低溫和降雨機率等，都整理成簡單清楚的格式。系統每六個小時自動更新一次，把最新的天氣資訊發送到指定的頻道，讓使用者能更輕鬆地獲得所需的天氣資訊。
```
```!
3.3.3. 公車模組
此模組主要用於提供即時且準確的校園公車資訊服務。透過整合運輸資料流通服務平臺的資料，可協助學生快速掌握公車動態並有效規劃通勤時間。這套系統會定期連接運輸資料流通服務平臺的API介面，抓取校園內各個站點的即時公車運行資訊，包括路線編號、站點名稱以及預估到站時間等重要數據。
為了有效控制成本，考量到運輸資料流通服務平臺的收費機制，針對數據請求頻率和結構進行了優化，以減少不必要的資源消耗。同時，模組採用了嵌入式訊息的方式，將所有重要資訊如公車路線編號、站點位置、預估到站時間及最後更新時間等，都以簡潔清晰的格式呈現。透過這樣的設計，不僅讓使用者能更容易理解和使用公車資訊，也大幅提升了校園交通資訊服務的實用性，讓學生能更有效率地安排通勤行程。
```
```!
3.3.4 課程模組
課程模組提供即時的課程資訊查詢與分析功能，讓選課變得更加簡單與迅速。此模組整合校內課程系統資料，包含課程代碼、名稱、授課教師、課程簡介等基本資訊，並結合生成式 AI 技術，透過分析學生的修課評論，生成課程建議與分析報告，幫助使用者做出更明智的選擇。
為確保數據的時效性與準確性，課程模組並未將資料存儲於 SQLite 資料庫，而是選擇每次查詢時即時訪問校內課程系統，檢索當下最新的課程資訊。整個模組的運作過程，強調即時性與互動性，以滿足使用者在選課過程中的不同需求。
使用者可以透過三種主要的功能指令來操作課程模組。首先，搜尋課程功能讓使用者根據指定的學期、授課教師或課程名稱進行條件篩選，只需輸入關鍵字，系統便能快速回傳符合條件的課程列表，並提供課程代碼、名稱、授課教師及上課時段等基本資訊(圖八)。其次，課程餘額查詢功能為使用者提供即時的課程空位資訊。當使用者輸入特定的課程代碼後，系統會即時訪問課程系統，檢索該課程的剩餘名額，並回傳當前的空位情況(圖九)。
最後，查詢課綱功能提供更進一步的課程資訊。使用者輸入特定的課程代碼與學期後，系統將即時從校內課程系統抓取該課程的詳細綱要內容，包括課程名稱、授課教師、課程目標、教學安排及評分方式等。除此之外，系統還會調用生成式 AI 模型，基於課程綱要和學生評論生成清晰的修課建議(圖十)，協助使用者評估課程的適合性。
技術實現上，課程模組透過爬蟲，直接訪問校內課程系統，確保數據的準確性與更新頻率。生成式 AI 則負責將課程綱要和學生評論進行分析，從中提取課程的特點與修課建議，為使用者提供精準的參考資訊。模組的設計採用嵌入式訊息的呈現方式，確保查詢結果清晰易讀，提升使用者體驗，大幅提升了選課的效率與準確性，讓使用者能更加從容地規劃自己的學習路徑。
```
```!
3.3.5. 校園助手模組
在校園助手模組的開發過程中，第一步是進行需求分析，這是整個系統設計的核心基礎。我們深入探討校園內部的實際需求，聚焦於使用者經常查詢的資訊類型，如行政相關的問答、校園活動公告等。基於需求分析的結果，我們將服務範圍明確限定在校園行政單位的公開文件資料，這一過程確定系統的目標範圍，以及優先處理的資料內容類型，從而避免資源浪費和開發方向偏離。
在需求分析完成後，我們開始資料收集與處理階段。參考 Google Gemini API 官方文檔，我們採用了系統化的流程來建構高品質的訓練資料集。為了提升資料集的有效性，我們首先對校園內部的公開文件進行分類整理，確保內容涵蓋各個行政單位常見問題解答。同時，為提高資料集的結構化程度，我們對文本格式進行了標準化處理，將非結構化資料轉化為標籤化的問答對話，方便後續的模型訓練。這一過程還遵循了 Gemini 模型訓練的最佳實踐，如確保資料完整性和多樣性，以提高生成回應的精確度和一致性。
在模型選擇階段，我們選擇了 Google Gemini 1.5 Flash 作為基礎模型進行微調。該模型以其卓越的多功能性和快速的處理性能，成為應用於校園助手模組的理想選擇。為了適應校園環境的特定需求，我們基於收集的資料集進行了模型微調，這使得模型能更精確地理解並生成針對校園場景的回應內容。此外，微調過程中，通過對問答資料進行反覆訓練和超參數的調整，確保模型能準確應對各種複雜的使用情境，產生適當的內容(圖X)。
為了實現系統與模型之間的有效交互，我們額外開發一個基於 Flask 的應用程序介面（API）。這個 API 負責將使用者的查詢轉發至 Gemini API 處理，對請求進行管理和分流。此設計不僅提高了系統的穩定性，還為未來的功能擴展提供了技術基礎。例如，其他應用系統也可以通過這個 API 與校園助手模組整合。系統部署後，我們還設計了使用者問答記錄功能，通過收集和分析問答記錄來監測模型的弱點，並根據這些數據進行有針對性的改進。這種持續的迭代與優化方式，使得校園助手模組能夠保持高效且精確的服務質量。
```
```!
3.3.6. 聊天機器人整合
聊天機器人採用 Discord API 和 py-cord 套件開發，透過 Cog 架構進行功能模組化設計，提供高度的擴展性與維護性。機器人在啟動時會依次掛載各功能模組，讓開發者能隨時方便地加載或卸載特定模組，靈活應對不斷變化的需求。
此外，機器人具備定時任務功能，這些任務會根據設定時間自動執行，觸發相關模組來發送訊息或更新資訊。此設計使系統能夠精準處理定期資訊更新，提升自動化服務的效能。
模組化設計讓功能劃分清晰，系統管理變得更加簡易，並具備極高的靈活性與擴展能力。未來若需拓展新功能，只需新增或修改特定模組即可，大幅提升開發與調整速度，確保機器人能夠在長時間內穩定運作，同時提供持續高品質的用戶服務。
```
### 4\. 系統測試與優化
強調在系統開發過程中進行的各項優化，以及測試的設計與方法。
- **性能測試**：進行負載測試、響應時間測試等，驗證系統穩定性與用戶體驗。
- **模型微調與優化**：針對生成式 AI 模型（如 Google Gemini Pro）的優化過程進行詳細描述，並闡述如何根據測試反饋調整資料集和模型參數。
```!
3.4. 系統優化與測試
3.4.1. 性能測試
為確保系統具備穩定、高效的執行能力並提供優質的使用者體驗，將針對系統進行一系列性能測試。測試目的是全面評估系統在不同負載情境下的表現，包括指令回應時間、模組處理效能、資料傳輸穩定性，以及資源利用率與容錯能力的狀況。性能測試的過程分為測試環境的準備、關鍵性能指標的選定，以及在實際執行過程中的數據收集與分析。
性能測試的執行環境是模擬真實操作條件的一台伺服器，其硬體資源配置為 Intel Core i5-12500 處理器、16GB 記憶體，以及 128GB SSD，並運行 Windows 11 作業系統，搭配 100Gbps 的網路，確保測試過程的準確性與穩定性。測試所使用的工具包括 Apache JMeter 與 Postman，用於模擬負載、壓力測試以及 API 請求分析，同時利用 Python 腳本監測系統資源的使用情況及執行日誌，確保測試結果的完整性。
在測試過程中，系統首先進行指令回應效率的檢驗，目標是在接收指令後於兩秒內完成回應。經過模擬測試，結果顯示，即使在不同使用場景下，各模組的平均回應時間仍然穩定維持在 1.5 秒以內。為了進一步評估系統的高負載處理能力，測試模擬多使用者同時操作的情境，設定了 10、50 與 100 位使用者同時發送請求。在中等負載下，系統運行穩定，平均回應延遲僅輕微增加，達到約 1.8 秒。在更高負載的情況下，回應延遲雖略微延長至 2.5 秒，但整體系統並未出現崩潰或服務中斷的情況，顯示出一定的容錯能力。
模組在調用第三方 API（例如天氣數據與公車即時資訊）時，亦展現了良好的處理效率，整體請求與回應時間平均維持在 1.2 秒內。當第三方 API 出現異常時，系統能迅速捕捉錯誤並回傳提示訊息，避免影響使用者的操作體驗。
資源使用的分析也提供了系統穩定性的重要指標。在多用戶同時操作的情況下，系統的 CPU 使用率達到峰值時僅為 65%，記憶體使用率維持在 40% 左右，而網路頻寬的佔用率亦未超過 20%。資源的有效管理確保了系統的執行效率，並為未來的擴展提供了彈性。
整體而言，測試結果表明，系統在各模組間的協作運作順暢，具備良好的處理能力與資源利用效率。即使在高負載環境中，系統的穩定性和效能都能達到預期的標準，同時也驗證了模組化設計對於應對多樣化需求的優勢。經由性能測試，本系統已證實其適合在實際運營環境中部署，能有效滿足使用者的功能需求與服務期望。
3.4.2. 模型微調與優化
在校園助手模組的開發過程中，模型微調與提示工程是提升效能和回應準確性的關鍵環節。這一階段著重於對生成式 AI 模型進行專業化調整，使其能更好地適應校園場景的特定需求，並避免生成與預期不符的回答。通過資料集、超參數調整以及提示策略，我們確保了模型的高效運行與穩定性。
為了讓 Google Gemini 1.5 Flash 模型更加適配校園助手的需求，我們對其進行了微調。首先，收集並整理的校園資料被標準化為結構化問答，內容涵蓋行政相關的問答、校園活動公告等多方面資訊。在微調過程中，我們根據模型訓練的最佳實踐，進行了一系列超參數調整。例如，我們將學習率設置為較低的 10^-3 ，以確保模型在吸收新資料特徵時不會喪失其原有的生成能力。此外，批量大小被設定為 64，以平衡訓練穩定性與效能，而訓練週期則根訓練過程的收斂結果動態調整，確保模型能在有限次數內達到最佳效果。這些策略大幅提升了模型在校園資料上的理解力與生成準確性。
在校園助手模組的設計中，我們採用了多層次的提示策略，以提升模型回應的準確性與穩定性。首先，我們提供清楚明確的指示，明確規範模型的回答範圍。例如，提示語中明示：「你是靜宜小幫手，僅回答靜宜大學相關問題，超出範疇的內容將回應『很抱歉，此問題不在校園資訊範圍內』。」此策略有效避免模型生成不相關的內容。同時，我們在提示中加入少量範例，例如：「如何申請XX文件?，請回應：『步驟一、...。步驟二、...。承辦單位:綜合業務組 分機:#0001』」這些範例幫助模型理解應用場景並生成精確的回應。
為進一步增強提示效果，我們新增了背景資訊與前置字串，為模型提供更豐富的上下文。例如，提示語強調：「我會始終以靜宜小幫手的角色回應，不涉足靜宜大學範疇外的話題。」此設定強化模型的角色意識，避免生成偏離範疇的內容。這些策略相互結合，使模型的回應不僅準確、結構化，且能有效應對多樣化查詢情境，全面提升了校園助手的實用性與可靠性。
```
### 5\. 用戶反饋與改進
收集實際用戶（包括學生和教師）的反饋來優化系統功能。這一部分可以涵蓋以下內容：
- **問卷調查與回饋分析**：從使用者那裡收集反饋（如用戶在 Discord 上的互動、收集意見等），並進行分析，揭示系統的優勢和不足。
- **改進措施與未來發展**：根據用戶反饋對系統進行優化的策略，包括新增功能、改善現有功能等。並設想系統的長期發展，如整合更多智能化服務、擴展到其他平台等。
```!
本研究透過問卷調查，深入分析新開發的校園 Discord 聊天機器人平台與現有校務系統在使用者體驗上的差異，並採用成對樣本 T 檢定方法進行比較，涵蓋使用者滿意度、操作流暢度及系統優勢等層面。調查期間為 2024 年 10 月至 12 月，對象為靜宜大學在校生，共收集到 51 份有效問卷，問卷評分採五點李克特量表，從「非常不滿意」到「非常滿意」進行評估。
在滿意度評估中()，聊天機器人平台的平均分數為 4.07 分（標準差 1.09），略高於校務系統的 3.78 分（標準差 1.02），但差異未達統計顯著性（t(50) = 1.96, p = 0.055）。儘管如此，數據顯示使用者對新平台的整體評價傾向正面。在操作流暢度方面，聊天機器人平台的平均分數為 4.11 分（標準差 1.12），顯著高於校務系統的 3.64 分（標準差 1.14），差異達到統計極顯著性（t(50) = 2.97, p < 0.01），顯示新平台在操作便利性上具明顯優勢。
```
```!
根據使用者回饋，聊天機器人平台在即時回應能力方面表現尤為出色，約 76.5% 的受訪者對此予以肯定。同時，平台的使用便利性和資訊更新速度也獲得了較高評價，分別有 60.8% 和 47.1% 的受訪者給予正面回應。此外，41.2% 的受訪者認為新平台在互動性能上具有明顯優勢。然而，使用者也指出平台仍有改進空間，其中功能完整性是最主要的挑戰，約 47.1% 的受訪者認為功能需要進一步擴充；此外，37.3% 的受訪者提到系統整合性尚不完善，另有 27.5% 的受訪者表示回應的準確性仍需改進。
```
```!
在使用偏好方面，調查發現 60.8% 的受訪者傾向使用聊天機器人平台，而 39.2% 偏好現有校務系統。值得注意的是，高達 90.2% 的受訪者表示願意推薦新平台給他人，顯示出對其未來發展的信心。
綜合研究結果，聊天機器人平台在使用者體驗與互動性方面展現出顯著優勢，但在功能完整性與系統整合等方面仍需改進。未來平台的發展應著重於功能擴充與整合性優化，並提升回應的準確性，從而為校園社群提供更全面且高效的資訊服務。在逐步克服這些挑戰後，平台有望成為校園資訊服務的重要工具，進一步提升師生的數位使用體驗。
```
<!--
```python
!wget -O TaipeiSansTCBeta-Regular.ttf https://drive.google.com/uc?id=1eGAsTN1HBpJAkeVM57_C7ccp7hbgSz3_&export=download
import matplotlib
# 改style要在改font之前
# plt.style.use('seaborn')
matplotlib.font_manager.fontManager.addfont('TaipeiSansTCBeta-Regular.ttf')
matplotlib.rc('font', family='Taipei Sans TC Beta')
import matplotlib.pyplot as plt
import numpy as np
# 滿意度平均分數比較 (圖表1)
mean_satisfaction = [4.07, 3.78]
std_satisfaction = [1.09, 1.02]
# 操作流暢度對比分析 (圖表2)
mean_smoothness = [4.11, 3.64]
std_smoothness = [1.12, 1.14]
# 系統優勢分析 (圖表3)
advantages = ['即時回應能力', '使用便利性', '資訊更新速度', '互動性能', '功能完整性需改進', '系統整合問題需改進', '回應準確性需提升']
advantage_values = [76.5, 60.8, 47.1, 41.2, 47.1, 37.3, 27.5]
# 系統使用偏好分布 (圖表4)
preference_labels = ['偏好聊天機器人平台', '偏好現有校務系統']
preference_values = [60.8, 39.2]
# 圖表1：滿意度平均分數比較
plt.figure(figsize=(8, 6))
x = np.arange(len(systems))
plt.bar(x, mean_satisfaction, yerr=std_satisfaction, capsize=5, color=['skyblue', 'lightcoral'], alpha=0.8)
plt.xticks(x, systems, fontsize=16)
plt.ylabel('平均分數', fontsize=16)
# plt.title('圖表1 系統滿意度平均分數比較')
plt.tight_layout()
# plt.savefig('/mnt/data/satisfaction_comparison.png')
plt.show()
# 圖表2：操作流暢度對比分析
plt.figure(figsize=(8, 6))
plt.bar(x, mean_smoothness, yerr=std_smoothness, capsize=5, color=['skyblue', 'lightcoral'], alpha=0.8)
plt.xticks(x, systems, fontsize=16)
plt.ylabel('平均分數', fontsize=16)
# plt.title('圖表2 操作流暢度對比分析')
plt.tight_layout()
# plt.savefig('/mnt/data/smoothness_comparison.png')
plt.show()
# 圖表3：系統優勢分析
plt.figure(figsize=(10, 6))
plt.barh(advantages, advantage_values, color='mediumseagreen', alpha=0.8)
plt.xlabel('百分比 (%)')
plt.yticks(fontsize=16)
# plt.title('圖表3 系統優勢分析')
plt.tight_layout()
# plt.savefig('/mnt/data/advantages_analysis.png')
plt.show()
# 圖表4：系統使用偏好分布
plt.figure(figsize=(8, 6))
plt.pie(preference_values, labels=preference_labels, autopct='%1.1f%%', colors=['skyblue', 'lightcoral'], startangle=140)
# plt.title('圖表4 系統使用偏好分布')
plt.tight_layout()
# plt.savefig('/mnt/data/preference_distribution.png')
plt.show()
```
-->
## 四、結果與討論
```!
4.1. 研究貢獻
TANET 2024 海報論文發表 P-55 (S0068) A Study on an Interactive Campus Platform for Supporting AI and Chatbots
2024 校園智慧黑客松競賽 最佳技術獎
本研究透過結合生成式 AI 技術與互動式平台，提出了一個創新的智慧校園平台方案，不僅成功投稿於 TANET 2024 並發表海報論文，也於校園黑客松競賽中榮獲最佳技術獎。本系統顯著提升了校園資訊的流通效率與使用者體驗，為校園智慧化提供了新穎的實證參考。此外，本研究展示了數位科技於教育領域的廣泛應用潛力，為未來智能化校園的發展提供了實用範例。
4.2. 遇到的困難與解決方法
4.3. 未來研究建議
```
```
遇到的困難
在開發和實施智慧校園平台的過程中，面臨了多方面的挑戰。
首先，生成式 AI 模型的微調和應用面臨高門檻。校園特定資料集的建立需要大量時間和人力進行收集與標註，此外，微調模型的過程需要精確的超參數調整和大量運算資源。由於校園內專業術語與特定應用場景的多樣性，設計提示詞（Prompts）時必須在準確性與靈活性之間取得平衡，這一點在實驗初期常導致模型輸出結果偏離預期。
其次，系統整合與功能模組設計也是一大難題。平台的多模組架構（如公告模組、天氣模組、公車模組等）需確保彼此間的協作流暢，但第三方 API 的連接不穩定性常導致數據抓取中斷，影響服務的穩定性。此外，對不同數據的儲存與管理需求，例如即時性數據和持久性數據的差異，也增加了系統設計的複雜度。
使用者反饋方面，儘管平台的即時性和操作便利性獲得了高度肯定，但功能的完整性和回應的準確性仍是使用者提出的主要改進需求。約 47.1% 的受訪者希望增加更多功能，而 27.5% 的使用者認為平台生成內容有時未能完全符合需求，這些問題反映了系統在滿足多樣化需求時的不足。
```
```
未來研究建議
基於研究過程中遇到的挑戰和使用者反饋，未來的改進建議包括以下幾點：
強化模型性能與資料集建置
建議進一步擴充校園特定領域的資料集，增加資料的多樣性和覆蓋範圍，特別針對行政、學術和校園生活相關的問答資料。同時，探索更高效的微調技術，如少樣本學習（Few-shot Learning）或模型壓縮技術，減少計算資源的消耗並提升模型的適應性。
提升功能模組的穩定性與擴展性
對於高頻使用的功能模組，建議引入更穩定的數據接口或緩存機制，以減少外部 API 不穩定對系統的影響。同時，考慮增加新功能，如學術資源推薦、校園活動通知的個性化推送等，進一步提升系統的實用性與吸引力。
優化使用者體驗與反饋機制
建立更細緻的使用者反饋收集與分析機制，例如即時用戶意見調查或使用行為記錄，將收集到的數據應用於系統迭代。針對生成內容的準確性問題，可設計更加多層次的提示語結構，以引導模型產生更精確的回應。
促進系統的長期發展
從系統整合的角度，未來可考慮將平台功能拓展至更多校園場景，如線上教學支援、校內社群互動等，並結合更多先進技術（如物聯網和語音交互），打造全方位的智慧校園服務生態系統。
透過上述改進措施與長期策略，智慧校園平台有望在未來為校園社群提供更加高效、全面的資訊互動服務，同時為教育領域的數位化創新積累寶貴的經驗與基礎。
```
## 五、參考文獻
```!
[1] Muhammad Usman Hadi, Qasem Al Tashi, Rizwan Qureshi, et al. A Survey on Large Language Models: Applications, Challenges, Limitations, and Practical Usage. TechRxiv. July 10, 2023. https://doi.org/10.36227/techrxiv.23589741.v1
[2] Muhammad Usman Hadi, Qasem Al Tashi, Rizwan Qureshi, et al. Large Language Models: A Comprehensive Survey of its Applications, Challenges, Limitations, and Future Prospects. TechRxiv. August 12, 2024. https://www.techrxiv.org/doi/full/10.36227/techrxiv.23589741.v6
[3] Chen, C. M. (2019). Improve word-to-answer capabilities of chat bots through word vector correlation models and web search. 碩士論文, 國立雲林科技大學。
[4] Du, Y., Watkins, O., Wang, Z., Colas, C., et al. (2023). Guiding pretraining in reinforcement learning with large language models. Proceedings of the 40th International Conference on Machine Learning, Honolulu, Hawaii。
[5] White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., et al. (2023). A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT. Vanderbilt University.
[6] Jun HUANG, Fei LIN, Jing YANG, et al. From prompt engineering to generative artificial intelligence for large models: the state of the art and perspective[J]. Chinese Journal of Intelligent Science and Technology, 2024, 6(2): 115-133.
[7] 陳鍾誠、廖先志（2024）。AI的回答可信嗎？淺談LLM（大型語言模型）中的AI幻覺（hallucination）。最高檢察署月刊，(23)，9-12。https://www.airitilibrary.com/Article/Detail?DocID=P20240124001-N202408020009-00007
[8] Emsley, R. ChatGPT: these are not hallucinations – they’re fabrications and falsifications. Schizophr 9, 52 (2023). https://doi.org/10.1038/s41537-023-00379-4
```
Sign in with Wallet
Connect another wallet