---
GA: UA-34467841-15
---

# 外部模型不能用？那就在Kubernetes上打造一座自己的AI平台！ - 羅述慈 (Ruby Lo)、林允安 (910 Joy Lin)

###### tags: `KubeSummit2025` `K8s2025` `2025` `kubernetes` `DE 會議室` `K8s 架構設計` `企業 K8s 實例` `機器學習 K8s 實例`

<blockquote>
生成式 AI 蓬勃發展，但當實際想要導入到公司中落地時，卻發現困難重重：模型無法直接使用、資料不能出牆，還得同時顧及預算與效能？本場分享將說明我們在這些現實限制下，如何於公司內部的 Kubernetes 環境中，從零打造出一套地端語言模型平台。

從模型上架、自動部署，到 API 封裝與使用流程設計，我們建立了模組化架構，讓不同團隊能穩定存取模型服務，並成功導入至查詢系統、AI 助理等實際應用。過程中也克服模型來源受限、部署彈性與整合難題，逐步找出效能、成本與落地之間的最適平衡。

《聽眾收穫》

讓參與者了解如何從無到有建構語言模型平台，包含整合流程設計、常見挑戰與實際落地方式，提供企業導入生成式 AI 的可行路徑參考。
</blockquote>

{%hackmd @k8ssummit/announcement-2025 %}

## 會議資訊

**時間：** 16:00 ~ 16:40
**地點：** DE 會議室
**日期：** 2025年10月23日
**語言：** 中文
**難度：** 中階

**相關連結：**
- [KubeSummit 2025 官方網站](https://k8s.ithome.com.tw/2025) [target=_blank]
- [KubeSummit 2025 議程表](https://k8s.ithome.com.tw/2025/agenda) [target=_blank]

## 筆記區

> 請從這裡開始記錄你的筆記
> 目標: 串接LLM API 來完成客服助理
> 採用 LiteLLM 作為 model gateway
>

## 討論區

> 歡迎在此進行討論與 Q&A

## 相關資源

- 投影片連結：(待講者提供)
- 相關文件：(待更新)