# 使用 LangServe 快速部署 AI - 柯克(Ko Ko)

{%hackmd @HWDC/BJOE4qInR %}

>#### 》[議程介紹](https://hwdc.ithome.com.tw/2024/lab-page/3255)
>#### 》[填寫議程滿意度問卷｜回饋建言給辛苦的講者](https://forms.gle/87f16Tuoj5cHMr1M8)

## 架構
LangSmith: 可觀測性
LangServer: 部署成 rest
API(結合 LangChain 跟 FastAPI)

向量資料庫推薦使用 Qdrant

## cosine metrics
cosine metrics: 計算兩個向量之間的相似度

cosine similarity 範圍從 -1(完全相反) 到 1(完全相同)

cosine distance 範圍從 0(完全相同) 到 2(完全不同)

cosine distance = 1 - cosine similarity

## RAG
資料來源透過 embedding model 轉成向量儲存

使用者的問題透過 embededding model 轉成向量在資料庫搜尋最相關的文本

把問題加上搜尋到的文本交給大語言模型(LLM)拿到結果

注意：embedding model 最好使用中文支援度高的

## content filter configuration

可以把仇恨 / 騷擾的言論給過濾掉

## Qdrant
collections: 存放一堆 points 的地方，可以想像成傳統資料庫的 table

payload: metadata 的概念

point: Qdrant 儲存資料的核心實體，由向量跟 payload 組成

如果進入 demo 之後的 qdrant，可以看到 page_content / metadata，這是 langchain 制定好的格式