# [Time Series] - TS2Vec(Towards Universal Representation of Time Series) 論文筆記

###### tags: `Literature Reading` `Time Series` `Self-supervised` `Unsupervised` `deep learning` `Signal Process`

- 彙整2022年底深度學習方法在處理時間序列資料上的資源、趨勢與SOTA模型，詳見[Deep Learning with Time Series data](https://hackmd.io/@YungHuiHsu/r1yCihCPo)

=============================================

==[2022。AAAI。TS2Vec: Towards Universal Representation of Time Series](https://arxiv.org/abs/2106.10466)==

- comment
- 輕量、運算時間相當快、可輕易取得學習的特徵
- 支援多變量時間序列
- 同時透過不同層級多尺度的特徵比對提供不同層次的語意，提高特徵學習與通用化的能力
- 時序(temporal)、不同實例(instance)
- 但缺乏頻率方面的特徵提取?
- performance
- 
- 

- [github](https://github.com/yuezhihan/ts2vec)

## TS2Vec核心概念

### 1. 模型架構
- 主要由一個編碼器組成，內含三層結構
- input projection layer
- 將輸入透過簡單的線性全連結層映射為時間點(timestamp)的高維潛向量(high-dimensional latent vector)

- timestamp masking module :
- 將通過input projection layer產出的高維潛向量進行隨機遮蔽
- 注意，不是取原始資料，而是轉型過的高維潛向量

- dilated CNN擴張卷積(1-D)
- 拓增感受的視野並維持filter大小
- 使用跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)
- CNN運用於語言模型，為了捕捉長距離關係用的手段，後面常會接maxpool提取最顯著特徵

### 2. 語境一致性(Contextual Consistency)
- 過去應用於TS資料型態比對正樣本的策略
- 比對正樣本的(語意)一致性
- 包括時間上的(Temporal)、相鄰序列的(Subseries)、資料增強轉換(Transformation)

- 問題
- 當資料有shift或發生異常時，可能取到錯誤的正樣本

### 3. 分層對比(Hierarchical Contrasting)
- 以跨階層比較取得不同層級的語意一致性：
- Temporal Contrastive Loss（$L_{temp}$）：同一時間序列相鄰時間
- 在正樣本選擇上，TS2VEC編碼器透過對相鄰時間樣本進行隨機裁切(Crop)後線性投影轉型成高維潛向量向後再遮蔽(Masking)(圖1)，後面再使用擴張卷積(1-D dilated CNN)增加視野感受範及跳接的殘差模塊(residual blocks)萃取前後時間序列的特徵(contextual representation at each timestamp)，以比對正樣本的(語意)一致性。
- Instance-wise Contrastive Loss（$L_{inst}$）：同一批次內的其他樣本
- 在負樣本選擇上，則以同批次的的其他資料作為負樣本，並透過階層式對比(Hierarchical Contrasting)，各層間則以Maxpool 提取反映最大的特徵，強制讓編碼器在不同層級(論文使用3層)學習到的表徵具有一致性。

TS2VEC的損失函數則可以下列簡化的正、負樣本對loss計算組成

$$ Loss = L_{temp} + L_{inst} $$

---
## Deep Learning相關筆記
### Self-supervised Learning
- [[Self-supervised] Self-supervised Learning 與 Vision Transformer重點筆記與近期發展](https://hackmd.io/7t35ALztT56STzItxo3UiA)
- [[Time Series] - TS2Vec(Towards Universal Representation of Time Series) 論文筆記](https://hackmd.io/OE9u1T9ETbSdiSzM1eMkqA)
### Object Detection
- [[Object Detection_YOLO] YOLOv7 論文筆記](https://hackmd.io/xhLeIsoSToW0jL61QRWDcQ)
### ViT與Transformer相關
- [[Transformer_CV] Vision Transformer(ViT)重點筆記](https://hackmd.io/tMw0oZM6T860zHJ2jkmLAA)
- [[Transformer] Self-Attention與Transformer](https://hackmd.io/fmJx3K4ySAO-zA0GEr0Clw)
- [[Explainable AI] Transformer Interpretability Beyond Attention Visualization。Transformer可解釋性與視覺化](https://hackmd.io/SdKCrj2RTySHxLevJkIrZQ)
- [[Transformer_CV] Masked Autoencoders(MAE)論文筆記](https://hackmd.io/lTqNcOmQQLiwzkAwVySh8Q)

### Autoencoder相關
- [[Autoencoder] Variational Sparse Coding (VSC)論文筆記](https://hackmd.io/MXxa8zesRhym4ahu7OJEfQ)
- [[Transformer_CV] Masked Autoencoders(MAE)論文筆記](https://hackmd.io/lTqNcOmQQLiwzkAwVySh8Q)