# .NET CONF 2023 --- ## 孫玉峰 Summit Suen ### 台灣角川數據架構師 在多個產業開發各種資料產品，包含推薦系統以及廣告數據平台，近年來的公開演講以及實務上則專注在資料工程與 MLOps 的建立，期望讓數據驅動（Data-Driven）的觀念帶動各個產業領域的創新。 於多所大學擔任業界講師，亦接受過各媒體專訪，目前也是微軟 AI 領域最有價值專家（MVP）以及 Taiwan R User Group（常態活動 MLDM Monday 主辦單位）的共同主持人。 --- ## 《連 MLOps 都沒聽過的我就要用 LLMOps 是不是搞錯了什麼？》 >當他們在講 DevOps 的時候，我保持沉默，我又不是 SRE 當他們在講 MLOps 的時候，我保持沉默，我又不是 Data Engineer 當他們在講 LLMOps 的時候，已經沒有人能為我說話了 去年（2022）以來大型語言模型（LLMs）的發展正在大幅改變產品開發的樣貌，不論是用 Copilot 協助程式開發、或是直接將 ChatGPT API 包進產品裡，都讓 AI 的應用及產品開發出現更多可能性；原本大概只在特定領域會出現的 ML 開發，現在也跟著 LLMs 變成萬物皆可 AI。 隨著 LLMs 漸漸成為開發人員基本標配，相關的部署及維運問題也隨之而來，LLMOps（Large Language Model Operations）就成了無法逃避的議題。 這場分享將會從一個簡單的推薦系統案例開始，透過逐步完善產品的過程中，去理解 LLMOps 的精髓。 --- [slides]() --- ### REF - https://docs.netapp.com/zh-tw/netapp-solutions/ai/wp-genai.html#%E6%91%98%E8%A6%81 - https://docs.dify.ai/v/zh-hans/getting-started/what-is-llmops - https://valohai.com/blog/llmops/ - https://www.pluralsight.com/resources/blog/data/what-is-llmops - https://github.com/tensorchord/Awesome-LLMOps - https://medium.com/@Deeploy_ML/how-the-challenges-of-llmops-can-be-solved-5683e37a7574 - https://deepchecks.com/overcoming-challenges-in-llmops-implementation/ - https://dataroots.io/blog/from-mlops-to-llmops-whats-the-difference - https://medium.com/@murtuza753/how-is-llmops-different-from-mlops-27aa309a18d6 - https://www.analyticsvidhya.com/blog/2023/08/llmops-vs-mlops/ - https://www.comet.com/site/blog/unlocking-the-potential-of-llms-from-mlops-to-llmops/ - https://wandb.ai/site/articles/understanding-llmops-large-language-model-operations - https://github.com/aslotte/MLOps.NET -