[Time Series] - TS2Vec(Towards Universal Representation of Time Series) 論文筆記

tags: Literature Reading Time Series Self-supervised Unsupervised deep learning Signal Process

• 彙整2022年底深度學習方法在處理時間序列資料上的資源、趨勢與SOTA模型，詳見Deep Learning with Time Series data

=============================================

2022。AAAI。TS2Vec: Towards Universal Representation of Time Series

• comment

  • 輕量、運算時間相當快、可輕易取得學習的特徵
  • 支援多變量時間序列
  • 同時透過不同層級多尺度的特徵比對提供不同層次的語意，提高特徵學習與通用化的能力
    • 時序(temporal)、不同實例(instance)
  • 但缺乏頻率方面的特徵提取?
  • performance

• github

TS2Vec核心概念

1. 模型架構

• 主要由一個編碼器組成，內含三層結構

  • input projection layer

    • 將輸入透過簡單的線性全連結層映射為時間點(timestamp)的高維潛向量(high-dimensional latent vector)

  • timestamp masking module :

    • 將通過input projection layer產出的高維潛向量進行隨機遮蔽
    • 注意，不是取原始資料，而是轉型過的高維潛向量

  • dilated CNN擴張卷積(1-D)

    • 拓增感受的視野並維持filter大小
    • 使用跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)
      • CNN運用於語言模型，為了捕捉長距離關係用的手段，後面常會接maxpool提取最顯著特徵

2. 語境一致性(Contextual Consistency)

• 過去應用於TS資料型態比對正樣本的策略

  • 比對正樣本的(語意)一致性
  • 包括時間上的(Temporal)、相鄰序列的(Subseries)、資料增強轉換(Transformation)
    

• 問題
  - 當資料有shift或發生異常時，可能取到錯誤的正樣本
  

3. 分層對比(Hierarchical Contrasting)

• 以跨階層比較取得不同層級的語意一致性：

  • Temporal Contrastive Loss（
    $L_{temp}$）：同一時間序列相鄰時間
    • 在正樣本選擇上，TS2VEC編碼器透過對相鄰時間樣本進行隨機裁切(Crop)後線性投影轉型成高維潛向量向後再遮蔽(Masking)(圖1)，後面再使用擴張卷積(1-D dilated CNN)增加視野感受範及跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)，以比對正樣本的(語意)一致性。
  • Instance-wise Contrastive Loss（
    $L_{inst}$）：同一批次內的其他樣本
    • 在負樣本選擇上，則以同批次的的其他資料作為負樣本，並透過階層式對比(Hierarchical Contrasting)，各層間則以Maxpool 提取反映最大的特徵，強制讓編碼器在不同層級(論文使用3層)學習到的表徵具有一致性。

  TS2VEC的損失函數則可以下列簡化的正、負樣本對loss計算組成

  $$Loss=L_{temp}+L_{inst}$$

---

Deep Learning相關筆記

Self-supervised Learning

• [Self-supervised] Self-supervised Learning 與 Vision Transformer重點筆記與近期發展
• [Time Series] - TS2Vec(Towards Universal Representation of Time Series) 論文筆記

Object Detection

• [Object Detection_YOLO] YOLOv7 論文筆記

ViT與Transformer相關

• [Transformer_CV] Vision Transformer(ViT)重點筆記
• [Transformer] Self-Attention與Transformer
• [Explainable AI] Transformer Interpretability Beyond Attention Visualization。Transformer可解釋性與視覺化
• [Transformer_CV] Masked Autoencoders(MAE)論文筆記

Autoencoder相關

• [Autoencoder] Variational Sparse Coding (VSC)論文筆記
• [Transformer_CV] Masked Autoencoders(MAE)論文筆記