論文まとめ - HackMD

# 論文まとめ ### テーマ：　時系列ドメインのためのDTWを用いた敵対的フレームワーク ## Abstract Dynamic Time Warping for Adversarial Robustness (DTW-AR) の提案 ## Introduction - DNNsのロバスト性を上げたい。これが動機 - 信号処理文献には、そのような敵対的候補を自動的に識別するためのフィルタリング方法に関するこれまでの研究は存在しない。 - DNN の精度は、敵対的トレーニングの後、現実世界のデータでは低下します。 - DTW 測定は、時系列領域に対してユークリッド空間よりも適切なバイアスを提供し、私たちの実験は DTW ベースの敵対的な例の実用的な利点を示しています。 - 標的を絞った敵対的な例を作成するために、DTW 測定限界制約を使用して最適化問題を定式化し、反復勾配ベースのアプローチを使用してそれを解決することを提案します。 - 問題点が２つ - 敵対的サンプルをひとつしか見つけることができない - 計算コストがかなり高い - 私たちの重要な洞察は、確率的調整を採用して敵対的な例を作成することです。 ## BACKGROUND AND PROBLEM SETUP * 私たちの実験は、小さな摂動により、元の時系列信号からの l2 距離が2つの異なるクラスラベルからの時系列信号間の距離よりも大きい敵対的な例をもたらすことを示しています。 * `DT W (X, Z) = min distP (X, Z)` ## DYNAMIC TIME WARPING BASED ADVERSARIAL ROBUSTNESS FRAMEWORK - DTWを用いるとユークリッド距離を用いることと比べて、より広い範囲で、多くの敵対的サンプルを作成することができる。 - 効率よく敵対的サンプルの範囲を調べられる方法を探すこともこの研究の大きな目的（計算量が膨大だから） - NTWは微分不可能→近似法を用いている→計算量O(T^2) - `LDTW(Xadv,P)= α1 ×distP(X,Xadv) − α2 × distPdiag (X, Xadv )` この式において、`α2>0`の時、敵対的出力は DTW 空間の元の入力と非常に似ていますが、ユークリッド空間では敵対的攻撃の範囲外になります。 - `PathSim (P1, P2)`はP1とP2の近さを表す指標 ## 理解できていない部分 - Single adversarial example. The method allows us to only find one valid adversarial example out of multiple solution candidates from the search space because it op- erates on a single optimal alignment path. Using a single alignment path (whether the diagonal path for Euclidean distance or the optimal alignment path generated by DTW), the algorithm will be limited to the adversarial examples which use that single alignment. In Figure 5, we provide a conceptual illustration of SADV (X), the set of all adversarial examples Xadv which meet the distance bound constraint DT W (X, Xadv ) ≤ δ. In the Euclidean space, using l2 norm is sufficient to explore the entire search space around the original input to create adversarial examples. However, in the DTW space, each colored section in SADV (X) can only be found using a subset of candidate alignment paths. - Fig.3を見る限り、ユークリッド距離の方がDTWと比べて敵対的サンプルの範囲が広い気がするが、逆である理由が分からない。 ## 重要そうなポイント - Observation 2 states that distP (X, Z) defined with re- spect to a path P is always an upper bound for DT W (X, Z), since DTW uses the optimal alignment path. Hence, when the alignment path is fixed, the time-complexity is reduced to a simpler similarity measure that requires only O(n.T), which results in significant computational savings due to repeated calls within the adversarial algorithm. ## 参考文献 1. [DTWについて](https://data-analysis-stats.jp/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92/dtwdynamic-time-warping%E5%8B%95%E7%9A%84%E6%99%82%E9%96%93%E4%BC%B8%E7%B8%AE%E6%B3%95/) 2. [normについて(l_1,l_2)](https://manabitimes.jp/math/1269) 3. [Chat pdf](https://www.chatpdf.com/?via=dendenmushi&gclid=CjwKCAiAgeeqBhBAEiwAoDDhn6Iy_WSCVGJTZcbYFORwwUxeDpMImhd1GVw5gAtIzHOzo8PW449X6BoC1e0QAvD_BwE)