[Time Series] - TS2Vec(Towards Universal Representation of Time Series) 論文筆記

tags: Literature Reading Time Series Self-supervised Unsupervised deep learning Signal Process

=============================================

2022。AAAI。TS2Vec: Towards Universal Representation of Time Series

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

  • comment

    • 輕量、運算時間相當快、可輕易取得學習的特徵
    • 支援多變量時間序列
    • 同時透過不同層級多尺度的特徵比對提供不同層次的語意，提高特徵學習與通用化的能力
      • 時序(temporal)、不同實例(instance)
    • 但缺乏頻率方面的特徵提取?
    • performance
      • Image Not Showing Possible Reasons
        • The image file may be corrupted
        • The server hosting the image is unavailable
        • The image path is incorrect
        • The image format is not supported
        Learn More →
      • Image Not Showing Possible Reasons
        • The image file may be corrupted
        • The server hosting the image is unavailable
        • The image path is incorrect
        • The image format is not supported
        Learn More →

  • github

TS2Vec核心概念

1. 模型架構

  • 主要由一個編碼器組成，內含三層結構

    • input projection layer

      • 將輸入透過簡單的線性全連結層映射為時間點(timestamp)的高維潛向量(high-dimensional latent vector)

    • timestamp masking module :

      • 將通過input projection layer產出的高維潛向量進行隨機遮蔽
      • 注意，不是取原始資料，而是轉型過的高維潛向量

    • dilated CNN擴張卷積(1-D)

      • 拓增感受的視野並維持filter大小
      • 使用跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)
        • CNN運用於語言模型，為了捕捉長距離關係用的手段，後面常會接maxpool提取最顯著特徵

2. 語境一致性(Contextual Consistency)

  • 過去應用於TS資料型態比對正樣本的策略

    • 比對正樣本的(語意)一致性
    • 包括時間上的(Temporal)、相鄰序列的(Subseries)、資料增強轉換(Transformation)

  • 問題
    - 當資料有shift或發生異常時，可能取到錯誤的正樣本

3. 分層對比(Hierarchical Contrasting)

  • 以跨階層比較取得不同層級的語意一致性：

    • Temporal Contrastive Loss（\(L_{temp}\)）：同一時間序列相鄰時間
      • 在正樣本選擇上，TS2VEC編碼器透過對相鄰時間樣本進行隨機裁切(Crop)後線性投影轉型成高維潛向量向後再遮蔽(Masking)(圖1)，後面再使用擴張卷積(1-D dilated CNN)增加視野感受範及跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)，以比對正樣本的(語意)一致性。
    • Instance-wise Contrastive Loss（\(L_{inst}\)）：同一批次內的其他樣本
      • 在負樣本選擇上，則以同批次的的其他資料作為負樣本，並透過階層式對比(Hierarchical Contrasting)，各層間則以Maxpool 提取反映最大的特徵，強制讓編碼器在不同層級(論文使用3層)學習到的表徵具有一致性。

    TS2VEC的損失函數則可以下列簡化的正、負樣本對loss計算組成

    \[ Loss = L_{temp} + L_{inst} \]

Deep Learning相關筆記

Self-supervised Learning

Object Detection

ViT與Transformer相關

Autoencoder相關

Select a repo