AI / ML領域相關學習筆記入口頁面

Deeplearning.ai GenAI/LLM系列課程筆記

GenAI

• Large Language Models with Semantic Search。大型語言模型與語義搜索
• LangChain for LLM Application Development。使用LangChain進行LLM應用開發
• Finetuning Large Language Models。微調大型語言模型

AI Agents

• AI Agents in LangGraph

RAG

• Preprocessing Unstructured Data for LLM Applications。大型語言模型(LLM)應用的非結構化資料前處理
• Building and Evaluating Advanced RAG。建立與評估進階RAG
• [GenAI][RAG] Multi-Modal Retrieval-Augmented Generation and Evaluaion。多模態的RAG與評估
  
• [GenAI][RAG] Building Multimodal Search and RAG。多模態搜尋與RAG
  

---

Building Multimodal Search and RAG。多模態搜尋與RAG

講得很基礎、
第二章以後大部分是Weaviate向量資料庫的操作API教學
RAG的部分講的不深、適合想學Weaviate操作的新手
如果對多模態基礎不了解的第一章可以看一下

Overview of Multimodality

• Multimodal Embedding Models
  

• Training Multimodal Models

  • Start with specialist models
    • 每種資料類型有其獨特的特徵，因此需要專門的模型來捕捉這些特徵
    • 專家模型是針對特定類型資料（如圖像、文本、音頻等）進行訓練的模型
  • Unify the specialist models
    

• Unify the Models Using Contrastive Learning

  • Process to train any embedding model
    • 資料準備：收集多模態資料（如圖片和對應的描述文字）
    • 嵌入生成：使用專家模型生成各自的資料嵌入（向量表示）
    • 對比學習：在共享嵌入空間中，通過對比正樣本（如圖片和描述文字）和負樣本（不樣本的圖片和文字），學習有效的嵌入
  • Unify multiple models
    • 嵌入空間共享：將各專家模型的嵌入映射到同一向量空間
    • 對比損失：使用對比損失函數，最大化正樣本的相似度，最小化負樣本的相似度
  • Create one vector space
    • 一個統一的嵌入空間，使得不同模態的資料能夠在同一向量空間中進行比較和計算
  • Tune models by providing contrastive examples
    • 利用正、負樣本對進行訓練，調整模型參數，使正樣本對的嵌入更接近，負樣本對的嵌入更遠

• Understanding Contrastive Learning for Text。瞭解對比學習的概念，以文字為例

  • 學習之前：

    • 錨點（藍色）與正樣本（綠色）和負樣本（紅色）的位置
    • 初始狀態下，錨點與正樣本和負樣本之間的距離可能不反映其實際的語義相似度

  • 學習過程：

    • 目標：調整嵌入，使錨點更靠近正樣本，遠離負樣本
    • 機制：通常通過對比損失函數實現，該函數鼓勵減少錨點與正樣本之間的距離，同時增加錨點與負樣本之間的距離

  • 學習之後：

    • 錨點（藍色）現在更接近正樣本（綠色），且遠離負樣本（紅色）
    • 模型已學會區分語義上相似和不相似的對，使其能更好地辨別相關和不相關的例子

• Contrastive Loss Function。對比學習損失函素
  

1. Encoder (

   $\theta$)：
   • 功能：編碼器處理每張圖片 (
     $I^a$,
     $I^{+}$, 和
     $I^{-}$) 生成相應的嵌入 (
     $f^a$,
     $f^{+}$, 和
     $f^{-}$)。
   • 輸出：
     • $f^a=\theta (I^a)$
     • $f^{+}=\theta (I^{+})$
     • $f^{-}=\theta (I^{-})$

2. Distance Function (

   $\delta$)：
   • 目的：測量兩個嵌入之間的相似性或不相似性。
   • 計算的距離類型：
     • $\delta (f^a,f^{+})$：錨點與正樣本之間的距離。
     • $\delta (f^a,f^{-})$：錨點與負樣本之間的距離。

3. 學習目標：

   • 最小化
     $\delta (f^a,f^{+})$：
     • 目標：減少錨點與正樣本嵌入之間的距離，使它們更相似。
   • 最大化
     $\delta (f^a,f^{-})$：
     • 目標：增加錨點與負樣本嵌入之間的距離，使它們更不相似。

• Understanding Contrastive Learning for Multimodal Data
  類似的概念拓展到多模態資料
  

  圖-文配對。將圖-文配對相近的嵌入空間拉近、反之，則推遠

  • Finding contrastive examples
    

  • Text Encoder（文本編碼器）：

    • 輸入：一系列的文本輸入（如 "Pepper the aussie pup"）
    • 輸出：編碼後的文本表示
      $T_1,T_2,\dots ,T_N$。
    • 目的：將文本輸入轉換為數值向量表示，捕捉文本的語義。

  • Image Encoder（圖像編碼器）：

    • 輸入：一系列的圖像輸入（如狗的圖片）
    • 輸出：編碼後的圖像表示
      $I_1,I_2,\dots ,I_N$
    • 目的：將圖像輸入轉換為數值向量表示，捕捉圖像的視覺特徵

  • 矩陣結構：

    • 矩陣顯示每個編碼圖像
      $I_i$ 和每個編碼文本
      $T_j$ 之間的互動
    • 矩陣中的每個單元格
      $I_i\cdot T_j$ 代表圖像
      $I_i$ 和文本
      $T_j$ 之間的相似度或互動度量

  • 目標是通過比較嵌入找到圖像和文本描述之間的最佳匹配。

  • 在訓練過程中，模型被優化以最大化正確圖像-文本對的相似度得分，並最小化錯誤對的得分

• Understanding the Contrastive Loss Function
  

  • 嵌入生成:

    • ${\mathbf{q}}_i=f(\text{圖片})$ 表示通過函數
      $f$（例如圖像編碼器）對圖片進行編碼，生成查詢向量
      ${\mathbf{q}}_i$。
    • ${\mathbf{k}}_i=g(\text{圖片})$ 表示通過函數
      $g$ 對圖片進行編碼，生成鍵值向量
      ${\mathbf{k}}_i$。

  • 損失函數

    $L_{\mathcal{I},\mathcal{M}}$
    
    $$L_{\mathcal{I},\mathcal{M}}=-\log \frac{\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_i/\tau )}{\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_i/\tau )+\sum _{j\ne i}\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_j/\tau )}$$

    • 分子

      $\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_i/\tau )$: 表示查詢向量
      ${\mathbf{q}}_i$ 與正樣本鍵值向量
      ${\mathbf{k}}_i$ 的相似度，經過溫度參數
      $\tau$ 縮放

    • 分母

      $\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_i/\tau )+\sum _{j\ne i}\exp ({\mathbf{q}}_i^{\mathrm{\top }}{\mathbf{k}}_j/\tau )$: 包含了查詢向量
      ${\mathbf{q}}_i$ 與所有鍵值向量（包括正樣本
      ${\mathbf{k}}_i$ 和負樣本
      ${\mathbf{k}}_j$）的相似度和
      • 分母特別排除了正樣本自己
        $\sum _{j\ne i}$，更強調負樣本的對比
      • 通過將正樣本的距離放在分母中，損失函數實際上是在計算錨點和正樣本之間相似度的相對機率。錨點和正樣本的相似度在所有樣本（包括正樣本和負樣本）中的比例

      包含正樣本在分母中有助於在同一範圍內進行比較，使得優化過程更穩定，損失函數範圍在 (0,1) 之間，有助於梯度穩定。這樣的設計強調了相對相似度，而不是絕對相似度

    • $\tau$: 溫度參數，控制相似度分佈的集中程度

  目標是最小化損失函數

  $L_{\mathcal{I},\mathcal{M}}$，即最大化查詢向量與正樣本鍵值向量之間的相似度，同時最小化與負樣本鍵值向量之間的相似度

Lab

核心程式碼

• Contrastive Loss Function

# The ideal distance metric for a positive sample is set to 1, for a negative sample it is set to 0      
class ContrastiveLoss(nn.Module):
    def __init__(self):
        super(ContrastiveLoss, self).__init__()
        self.similarity = nn.CosineSimilarity(dim=-1, eps=1e-7)

    def forward(self, anchor, contrastive, distance):
        # use cosine similarity from torch to get score
        score = self.similarity(anchor, contrastive)
        # after cosine apply MSE between distance and score
        return nn.MSELoss()(score, distance) #Ensures that the calculated score is close to the ideal distance (1 or 0)

• Model Training
  ​​​​def train_model(epoch_count=10):#
  ​​​​    net = Network()
  ​​​​    lrs = []
  ​​​​    losses = []
  
  ​​​​    for epoch in range(epoch_count):
  ​​​​        epoch_loss = 0
  ​​​​        batches=0
  ​​​​        print('epoch -', epoch)
  ​​​​        lrs.append(optimizer.param_groups[0]['lr'])
  ​​​​        print('learning rate', lrs[-1])
  
  ​​​​        for anchor, contrastive, distance, label in tqdm(trainLoader):
  ​​​​            batches += 1
  ​​​​            optimizer.zero_grad()
  ​​​​            anchor_out = net(anchor.to(device))
  ​​​​            contrastive_out = net(contrastive.to(device))
  ​​​​            distance = distance.to(torch.float32).to(device)
  ​​​​            loss = loss_function(anchor_out, contrastive_out, distance)
  ​​​​            epoch_loss += loss
  ​​​​            loss.backward()
  ​​​​            optimizer.step()
  
  ​​​​        losses.append(epoch_loss.cpu().detach().numpy() / batches)
  ​​​​        scheduler.step()
  ​​​​        print('epoch_loss', losses[-1])
  
  ​​​​        # Save a checkpoint of the model
  ​​​​        checkpoint_path = os.path.join(checkpoint_dir, f'model_epoch_{epoch}.pt')
  ​​​​        torch.save(net.state_dict(), checkpoint_path)
  
  ​​​​    return {
  ​​​​        "net": net,
  ​​​​        "losses": losses
  ​​​​    }
  

視覺化顯示embedding。Visualize the Vector Space!

• Generate 64d Representations of the Training Set

encoded_data = []
labels = []

with torch.no_grad():
    for anchor, _, _, label in tqdm(trainLoader):
        output = model(anchor.to(device))
        encoded_data.extend(output.cpu().numpy())
        labels.extend(label.cpu().numpy())

encoded_data = np.array(encoded_data)
labels = np.array(labels)

• Reduce Dimensionality of Data: 64d -> 3d

  • Apply PCA to reduce dimensionality of data from 64d -> 3d to make it easier to visualize!
  ​​​​pca = PCA(n_components=3)
  ​​​​encoded_data_3d = pca.fit_transform(encoded_data)
  

• Interactive Scatter Plot in 3d – with PCA

  ​​​​scatter = go.Scatter3d(
  ​​​​    x=encoded_data_3d[:, 0],
  ​​​​    y=encoded_data_3d[:, 1],
  ​​​​    z=encoded_data_3d[:, 2],
  ​​​​    mode='markers',
  ​​​​    marker=dict(size=4, color=labels, colorscale='Viridis', opacity=0.8),
  ​​​​    text=labels, 
  ​​​​    hoverinfo='text',
  ​​​​)
  ​​​​
  ​​​​# Create layout
  
  ​​​​layout = go.Layout(
  ​​​​    title="MNIST Dataset - Encoded and PCA Reduced 3D Scatter Plot",
  ​​​​    scene=dict(
  ​​​​        xaxis=dict(title="PC1"),
  ​​​​        yaxis=dict(title="PC2"),
  ​​​​        zaxis=dict(title="PC3"),
  ​​​​    ),
  ​​​​    width=1000, 
  ​​​​    height=750,
  ​​​​)
  

  

  • Scatterplot in 2d - with UMAP
  ​​​​mapper = umap.UMAP(random_state=42, metric='cosine').fit(encoded_data)
  ​​​​umap.plot.points(mapper, labels=labels);
  

  

  • 觀察隨著訓練的epoch增加，embedding空間分布的變化
    每個資料點間距離越拉越開
    • epoch=0
      
    • epoch=97
      

…
後面章節大部分是Weaviate向量資料庫的操作API教學，揀選一些概念性的投影片放上
…

共享多模態向量空間（Shared Multimodal Vector Space）

• 將不同模態的數據映射到同一個向量空間，使得不同模態之間可以進行直接比較和運算(檢索)
• 不同模態的數據具有不同的特徵和結構。例如，圖像有像素值，文本有詞向量。共享多模態向量空間將這些異質數據轉換為統一的向量表示，使得不同模態的數據可以在同一平面上進行處理

• vector search
  

• Multivector Recommender Systems
  

• Specialized Embedding Models
  

---

補充

其他對比學習損失函數設計

對比學習設計

• 公式
  

  $$L=-\log \frac{\exp (\text{sim}(v_i,v_j)/\tau )}{\sum _{k=1}^N\exp (\text{sim}(v_i,v_k)/\tau )}$$

  • $\text{sim}(v_i,v_j)$：
    • 表示樣本
      $v_i$ 和
      $v_j$ 之間的相似度。
    • 通常使用余弦相似度來計算，公式為：
      
      $$\text{sim}(v_i,v_j)=\frac{v_i\cdot v_j}{\Vert v_i\Vert \Vert v_j\Vert }$$
    • 相似度值越高，表示兩個嵌入的相似度越高。

  • $\tau$ (溫度參數)：
    • 這是一個控制分佈集中程度的縮放因子。
    • $\tau$ 值越低，分佈越尖銳，模型更關注最相似的樣本對。
    • $\tau$ 值越高，分佈越平滑。

  1. 分子(正樣本間的相似度)：
     

     $$\exp (\text{sim}(v_i,v_j)/\tau )$$
     • 計算錨點樣本
       $v_i$ 和正樣本
       $v_j$ 之間相似度的指數，並由溫度參數
       $\tau$ 縮放。
     • 這個項強調
       $v_i$ 和
       $v_j$ 之間的相似度。

  2. 分母(負樣本間的相似度)：
     

     $$\sum _{k=1}^N\exp (\text{sim}(v_i,v_k)/\tau )$$
     • 計算錨點樣本
       $v_i$ 與批次中所有其他樣本
       $v_k$ 之間相似度的指數和，並由
       $\tau$ 縮放。
     • 包含正樣本和負樣本。

  3. 對數和負號：
     

     $$-\log \left(\right)$$
     • 取對數將機率轉換為對數機率，使損失更穩定，適合基於梯度的優化
       
       • 非常低機率的小變化（例如從
         $0.001$ 到
         $0.0001$）在其對數值中會產生顯著差異，例如，
         $\log (0.001)\approx -6.91$ 對比
         $\log (0.0001)\approx -9.21$
       • 穩定性：對數函數的平滑效果防止非常小的機率在計算中引起不穩定。在優化模型時，極小的機率可能導致非常大的梯度，這會使優化過程變得不穩定或發散。對數轉換通過產生較為溫和的梯度值來緩解這一問題
     • 負號確保最大化正樣本對的機率（即提升模型）對應於最小化損失

• 直觀理解

  • 損失函數鼓勵模型使錨點
    $v_i$ 和正樣本
    $v_j$ 之間的相似度（分子）儘可能高，相較於錨點
    $v_i$ 和所有其他樣本
    $v_k$ 的相似度（分母）。
  • 通過最小化這個損失，模型學會區分正樣本對（相似項）和負樣本對（不相似項），有效地將相似項聚集在嵌入空間中，將不相似項分開。