# NOMS/Workshop 聴講リスト＆メモ

## Technical session
- 時間は全て+7
- 11:00-13:00は18:00-20:00
- 15:30-17:30は22:30-24:30

### 21日
#### 11:00-13:00 TS 4: AI & ML Techniques for Service Management

- **Paddy: An Event Log Parsing Approach with Dynamic Dictionary**【松尾】
- 背景：syslogのtemplate化は様々な分析に有用
- 課題：これまでの手法（rule, clustring）は，ルール作成や精度に欠点がある
- 提案：自動ツールを提案．preprocessing，コサイン類似度/ログlengthでtemplateの作成，update
- 結果：opendatasetで評価．しかし，他の有名な手法との比較はない．
- 所感？：木村さんの下位互換．
- ログのopendataset: https://github.com/logpai/loghub
- **Intrusion Detection System using Semi-Supervised Learning with Adversarial Autoencoder**【田尻】（塩本さんじゃんｗ）
- 背景：MLはデータ数が重要
- 課題：トラヒックのラベル付け大変
- 提案：Adversarial Auto-encoder(AAE)とsemi-supervisedの組み合わせ
- AEで次元削減
- 隠れ層の分布をカテゴリカル分布にして，そこからサンプリングして，ディスクリミネータにかけて正常/異常を学習/判定する？

- 結果：kdd datasetの実験ではラベルありは1%だけで80%以上？の精度を実現
- 所感？：発表資料は，，，．面白いアルゴリズムだった．

#### 11:00-13:00 ES 1: Network Operations and Management
- **Comparative Analysis of Network Fault Classification Using Machine Learning**【池内】
- KDDI
- 背景：5Gサービスをclosed-loop frameworkを作成．オペレーションにはMLが必要
- 課題：limited data of network failure(fault classificaiton, supervised)
- 提案：dataset（障害）を作成する．ML比較（アルゴリズム，学習条件）を実施
- 障害挿入器
- 障害のシナリオ（のテンプレート）をユーザが作成，投入
- パラメータ：機器/IFのタイプと障害種類
- テンプレートを元にシナリオを自動で作成する
- そして挿入する
- 前処理器
- 3分間隔で復旧，故障挿入を繰り返す．
- 通常データとdiffとってベクトル化

- 結果：
- 環境：仮想IP-NW　on OpenStack（40ノード以上）
- 障害種類：nodeダウン，IFダウン，CPU負荷
- データセット：6種類．データ数は500~27000
- モデル：RF，SVM，MLP
- 次元削減等の実験も実施
- 所感：
- おそらく意見交換したことがある人たち．もう一度意見交換した方が良さそう．ここまで作り上げるのすごい．新規性というより実装．
- インターンでやった要因特定の話と似ている．障害挿入のフレームワーク（シナリオ定義等）を構築したところと，実験環境を作り上げたところがすごい．実験結果は環境依存．

#### 15:30-17:30 TS 5: AI & ML Techniques for Network Management
- **Physical Layer Anomaly Detection Mechanisms in IoT Networks**
- 背景：
- IoT市場拡大
- layerごとに監視してuser/nodeを区別．layer1はsignal powerしか使えないので難しい
- 課題：privacy-focused 異常検知 on layer 1
- 提案：
- フーリエ変換
- データ前処理，特徴量抽出
- 周波数（時間だっけ？）を適当なwindowサイズで分けてベクトル化
- 時間空間でactivity periodとsilent periodを抽出
- PCAで特徴量量選択
- モデル学習/評価
- 1クラス分類
- split率などのハイパラをtuning
- 異常検知を実施
- 結果：
- alexa等の正常通信とtampered nodeによる異常通信（10s or 60s間隔）
- 3時間データ収集
- one class SVM, IF, KDEとか
- KDEが一番良かった
- 所感？：

- **Using Blackbox ML Techniques to Diagnose QoE Problems for an IPTV Service**

- 背景：IPTV
- 課題：安定したvideo streamingの提供は難しい
- 目的：QoE劣化のRCA
- centralized & distributed MLによるQoE推定
- QoE劣化の要因特定
- ブラックボックスアプローチとホワイトボックスアプローチ比較
- 提案
- データ：トラヒック（ルータ，スイッチ），wifi，agama QoE data (Device)
- 解く問題：バイナリクラス分類，次タイムステップのKPI推定，RCA
- モデル
- 分類器：RF，XGB，MLP
- 説明器：LIME，SHAP（ブラックボックス），XGB（ホワイトボックス）

#### 15:30-17:30 TS 2: Service Management -Security Management
- **Distributed Denial of Service Attacks Detection with Autoencoder**
- 背景：DDoSの検知は大事
- 教師あり/教師なしアプローチが提案されている
- 教師なしは２つの仮定に基づいている
- 正常データある分布に従っている
- 異常データが分類可能な程度正常から離れている
- 課題：AEはfalse positive rateが高い（そうなの？false negativeは？）
- 提案：AE basedのDDoD検知
- feature extraction component とonline detection component
- IP/portは使わない
- 結果：FPRを0, 82%のdetection rateを維持したまま
- dataset: UNB/MAWI（public dataset）
- 複数のシナリオで２つの仮定を確認
- 転移的なことはできないことを確認
- だけど教師なしなら正常だけがあればいいから，別途学習させればいい
- 所感：普通のAEを適用しただけだった

- **ATMoS: Autonomous Threat Mitigation in SDN Using Reinforcement Learning**【池内】
- 背景：threat mitigationについて，RLを使った対応が提案されてきている
- 課題：これまではDoSをtrafficシェーピングで対応するだけ．特異的なケースのみに対応している
- 提案：opensourceを使ったフレームワークの提案
- normal userとattackerをシミュレーションして学習する
- Q-learning
- アクションのサイズをハンドルする（flowルールのセットを作るだとアクション状態がでかすぎる）
- moving a host to one of the many VM
- VMの移動先？だけを指定する問題に落とし込んだ．
- reword QoSとattack succes rate
- 観測を3D tensorにした：#hosts, #sample of hosts #size of the byte(one-hot encodrdign)
- DNNに入れるときは平滑化していれた
- 結果:NWと攻撃者の環境を作り，強化学習で攻撃からの復旧をさせた
- opendaylight, mininet with open vswitch, docker(user, attack)
- malicious
- ICMP SYN flood
- looks for certain vulnerable hosts
- user: googleで検索する行動をする
- 3hosts（VM）で2000エポックぐらいで収束した
- 所感？：インターン生がやっていたことと似ている．アクションの落とし込みをコントリビューションとしていたのは面白い

### 22日
#### 11:00-13:00 TS 3: Service Management - Service Management Techniques
- **MicroRCA: Root Cause Localization of Performance Issues in Microservices**【松尾】
- 背景：k8sは様々なサービスで使用されている
- 課題：
- 提案：DAG作る，
- サービスサービス間，サービスホスト間のグラフを作成(正常データより)
- 異常エッジの子ノードを異常とみなし，異常ノードに関するエッジのみ残す
- 異常エッジ，異常ノード正常サービス間エッジ，異常ノードホスト間エッジの3種に分けてそれぞれ重みのつけ方を定義し計算
- 上の重みなどを使ってサービスノードの異常度計算
- 移流などを考慮して異常ノードをランク付け
- 結果：
- fault injectionして実験
- 所感？：とりあえず読む．やりたいなと思っていたことに近い

#### 11:00-13:00　　　TS 10: SMART VERTICALS AND INDUSTRY 4.0 - MANGEMENT OF SMART SYSTEMS
- **Predicting Internet of Things Data Traffic Through LSTM and Autoregressive Spectrum Analysis**　(田尻)
- 背景： IoTトラヒックの増大
- 課題： 各機器に対応できるトラヒック予測を行いたい
- 提案： LSTMに適切なwindow sizeを設定するために先んじて自己回帰モデルを用いる
- 結果： ns3で作ったデータを予測可能
- 所感？： 使ってみた以上のものがあるとは言いづらいかと

#### 11:00-13:00 TS 12: Network Operations and Management - Monitoring & Security Techniques
- **Is the Uplink Enough? Estimating Video Stalls from Encrypted Network Traffic**
- 背景：動画配信の増加と暗号化トラヒックの増加，stalling（動画の再生停止）は直接には観測できない
- 課題：NWレイヤのuplinkデータ（=video chunk request）からstallingを検知できるか
- uplink上に流れるビデオチャンクrequestの検知
- trafficの行き先（youtubeサーバなど）から検知する
- flowを監視し続ければ？あるクライアントのビデオのダウンロード状況を知ることができる？
- 検知したrequestからstallingを予測する
- 提案：
- 着眼点：stallingは帯域減少フェーズの後のみ
- 音声と動画のrequestを分離
- 結果：900時間ネットワークのデータを収集
- flow
- 所感？：

- **Allocating and Scheduling Monitoring Applications**
- 背景：
- 課題：
- 提案：
- モニタ配置問題を整数計画法で定式化（NP hard）
- 蟻コロニー最適化のvariation（ACSアルゴリズム）を使って解く
- 結果：
- 提案とBBアルゴリズム，FFDアルゴリズムを比較
- ACSが一番よい性能
- FFDが一番早いが，ACSより準最適解が多い
- 所感？：

- **A Hybrid Game Theory and Reinforcement Learning Approach for Cyber-Physical Systems Security**【池内】
- 背景：CPSセキュリティ
- 課題：攻撃者とその対策の挙動をゲーム理論と強化学習で高度化
- 提案：不完全情報ゲーム&マルチエージェント強化学習
- 方策：攻撃者/防御者の行動集合
- 攻撃者：ウイルス攻撃をシミュレート，脆弱性を利用．ウイルスを拡散しようとする？
- 環境：OpenAI Gym toolkit と MiniCPS network simulatorで構築

#### 11:00-13:00 TS 14: SDN and NFV -Management Reliability
- LogiSig: Automatic Interaction Detection in Software-based Networks
- 背景：focus on the management plane of the software networks
- 課題：interactionの発生（干渉，同期，リソース競合）
- 提案：logisig: detecte classify interaction
- interactionの抽象的な？パターンを列挙
- DBの同期制御のパターンとかそういう感じっぽい
- そのパターンに引っかかっているかを検知
- 結果：Java base PoC作成
-
- 所感？：思っていたのと違った．スライド枚数は約100枚

#### 15:45-17:45 TS 6: AI & ML Techniques - Cognitive Network Techniques

- Efficient Real-Time Traffic Generation for 5G RAN
- 背景：self-learning task/ML手法のシミュレーションに背景トラヒックの生成は大事
- 課題：トラヒックパターンと長期依存性（LTD）のシミュレートが必要
- 提案：fractional gaussian noise(FGN)を生成して？
- 自己相似性に着目（歴史は深い）．これまでの超長期周期を捉えられていなかった
- 指標の一つ：Hurst parameter
- 自己相関に着目したモデルはいろいろある（Farima, FGN, ...）
- どれも計算コスト高い
- SRPを用いてFGNを生成
- FGNをヒストグラムに変換，そのヒストグラムのスケールを変えてトラヒックを生成
- スケールの指標（平均，分散，相関？）は過去のデータ（record）から推定
- 結果：
- 条件：128,16,4ユーザ．1msのresolution，4時間分のLTEトラヒックをrecordとして使う
- 結果：推定トラヒックのHurst indexはrecordのものとほぼ一致
- パラメータ推定に使ったデータとの一致を見てるので，ちょっとずるい
- どのくらい一致すればいいか，という値はないし，そもそもこのような評価をした研究がないので指標も作った
- 所感？：
- A scalable SON coordination framework for 5G
- 背景：SON大事
- 課題：
- 提案：ロードバランシング（ハンドオーバーセッティング）とMRO?の組み合わせ
- それぞれの機能に目標KPIを設定し，両方をくるくる回して最適化していく
- 結果：7つのeNBで実験
- 所感？：
- Environment Modeling and Abstraction of Network States for Cognitive Functions
- 背景：CAN(cognitive autonomous network)
- cognitive function：NW環境や目的に基づいてNW configを自動適応
- coordination, network operatorsのポリシー，環境状態の把握と抽象化/モデリング機能がある
- 課題：Cognitive functionの制御の干渉が起こる．どうやって情報共有するのがいいか
- 提案：環境のモデリングと抽象化した情報をCFに伝える
- EMA（environment-state modeling and abstraction）
- NW観測値（ONM）ベクトルから離散抽象状態を作る（隠れ層，次元圧縮）
- 特徴量抽出（AE），クラスタリング（k-means or BSQ），抽象化写像(coloration)
- normal operation,spike in DL load, congestio on raioの3状態
- 各クラスターのセントロイドごとに3状態をラベリングし，その状態をCFに与える（CFはその状態にしたがって何か動作をする）
- せんとロイドのラベリングは，今回はシミュレーションで環境の状態の正解がわかっているためそのラベルを使って教師ありをする
- 結果：ノキアの地図にマッピングしてなんかといた．

- 所感？：

### 23日
#### 11:00-13:00 TS 16: Management Approaches - Management Operation Techniques
- **Rapid Detection and Localization of Gray Failures in Data Centers via In-band Network Telemetry**
- 背景：gray failure は見つけにくい．p4を使ってin band network telemetryを取得できる
- 課題：
- probe packet network wideに測るのは大変
- 提案：
- ３つのシステムに分ける
- netowrk wideに測る
- DC-NWの構造(ToR-leaf-spine)を考慮し最小ルートでパケットを通し，通過した場所のデータをどんどん積み増して送る？
- 障害検知と迂回
- コントローラーが障害特定
- probeの通信がきれたところから圧縮センシング的に箇所特定する
- 結果：mininetで実験
- 所感？：

---

## Mini-conf

### 20日
#### 09:00-11:00 MC 3: Monitoring & I4.0
- **False Data Injection Attacks in Internet of Things and Deep Learning Enabled Predictive Analytics**
- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：

- **Delay-Aware NFV Resource Allocation with Deep Reinforment Learning**
- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：
#### 12:00-14:00 MC 4: Network Operations, Management Approaches & Techniques
- A Service Migration Method Based on Dynamic Awareness in Mobile Edge Computing

### 21日

#### 24日
#### 09:00-11:00 MC 5: AI & ML Techniques for Network Management

- **Modelling Mobile Traffic Patterns Using A Generative Adversarial Neural Networks**

- 背景：5Gシミュレーション大事，ユーザ分布知りたい
- 要求時間分解：1日以内
- 要求空間分解能：10m以内
- 課題：既存手法は分解能不足，運用者依存
- 提案：GANを使う
- データ収集：twitter
- tweet数とトラヒックは対数線形（本当に？って感じだけどな）
- データ前処理：時空間の両方を何らかのfilter処理
- （時系列性の前処理はなぞだった）
- ユーザー行動はノイジーなので，ホットスポット（ホットな基地局？）だけに集約するためにクラスタリングを使った
- 出力
- 生成されるデータは，tweet数/位置を生成したのち関係式で変換して，2次元の地図+各ポイントにトラヒック量が入ったようなデータ？
- 時系列方向はmorning/evening/nightの3分割？
- 結果：
- Generator：300iterationsで収束．期待通りのホットスポットを生成
- 所感？：
- **Deep Clustering of Mobile Network Data with Sparse Autoencoders**
- 背景：NW（モバイルデータ？）の離散状態遷移グラフを作りたい
- 課題：
- 提案：AEによるdeep clusteringで隠れ表現を抽出→k-means clustering，クラスタを頂点とするsimplexを考える
- 通常のクラスタリングのような0,1でクラスタに所属させるのではなく，クラスターへの所属をクラスタの線形和で表したい？
- 線形和で表そうとすると計算コストが高いためsparse制約をつけて，セントロイドを結ぶ辺上に点が乗るようにする
- 結果：5minの時間間隔で収集した実データに対して
- 所感？：
#### 12:00-14:00 MC 6: AI & ML Techniques for Security

- **Anomaly prediction in mobile networks : A data driven approach for machine learning algorithm selection**

- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：
- **Unsupervised Detection of Anomalous Behavior in Wireless Devices based on Auto-Encoders**
- 背景：IoTのマルウェア検知大事
- 課題：
- 提案：
- 結果：
- 所感？：

- **A OneM2M Intrusion Detection and Prevention System based on Edge Machine Learning**
- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：

---

## Poster

### 21日
#### 13:00-14:00 Posters 1

- **A Machine Learning-Based Framework to Estimate the Lifetime of Network Line Cards**
- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：よくわからなかった．

#### 17:30-18:30 Posters 2
- Adaptive scaling of Kubernetes pods
- 背景：
- vertical/horizontal scalling
- vertical: （podに割り当てる）CPU，メモリの増減
- horizontal: podの増減
- 課題：
- k8sのデフォルトのスケーリングはHorizontal
- その他既存のオートスケーリングはvertical
- どちらも上限がある
- 提案：Libra=HPA+VPA
- CPUに閾値を設ける
- RPSの線形回帰に基づきスケールアウト/イン
- 結果：
- V:20podsまでスケールアップしたが200RPSの処理
- H;4POS 150RPSの処理
- 提案：8servers 250RPSの処理
- どれも処理は数秒程度
- どの程度CPUを割り当てられたかは，聞き取れなかった
- 所感？：

## Workshop
### 20
#### 10:00 – 10:30 Lightning Talks (Posters Preview)
- Few-shot Learning for eNodeB Performance Metric Analysis for Service Level Assurance in LTE Networks

#### 11:00 – 12:15 Technical Session 1: IT infrastructures Monitoring
- Towards Improved Fault Localization using Transfer Learning and Language Modeling
- Unsupervised Feature Selection for Telemetry Event Description
### TECHNICAL SESSION 2: DATA ANALYTICS FOR NETWORK PERFORMANCE, SECURITY AND RELIABILITY 13:30-13:55
- Towards detecting DNSSEC validation failure with passive measurements
Kensuke Fukuda, National Insutitute of Informatics, Japan
Yoshiro Yoneya, Takeshi Mitamura, JPRS, Japan

## Keynote
- KEYNOTE 1: MICRO-SERVICING” NDN TO IMPROVE SECURITY, SCALABILITY AND INTEGRATION
- 背景：
- Content is king
- Software is eating the world
- 課題：enable incremental deployment and interoperatibility, scalability fine grained dynamical management of an ICN framework
- 提案：Information centric network / information content named-data networking principles
- caching, multipath securityに良い!
- microserviceで実現してscalingを楽に
- HTTP/NDN integration
- 全体：ICN×NFV/SDNの世界観の紹介．ICN×NFV/SDNの現在の課題/研究動向の紹介．
- 所感？：

- KEYNOTE 3: WHY AUTOMATION IS HARD AND THE NEED FOR NEW APPROACHES
- 背景：
- 課題：
- 提案：
- 結果：
- 所感？：

## 統計情報
### NOMS
- 243 submitted papers(record submission!)
- Main conf: 72 (29.6%)
- Mini conf: 40 (23.39%)
- 3.4 reviews per paper
- additional 180 papers for posters, workshops etc.
- 285 registrants
- Academic: 42.75%, Researh Engineer/Scientist: 29.35%, Students: 20.65

### AnNet
#### acceptatnt rate
- 24 submission from 19 countries, 8 full paper (33%), 6 short paper
- 24 submission in 2016, 28 in 2017, 41 in 2018, 27 in 2019

#### author
#### 日本から
- Aoki Shogo, Waseda University, Japan, Kohei Shiomoto, Tokyo City University, Japan, Kensuke Fukuda, National Insutitute of Informatics, Japan, Yoshiro Yoneya, Takeshi Mitamura, JPRS, Japan
- Yuki Imamura, Osaka City University, Japan, Nobuyuki Nakamura, Oki Electric Industry, Japan, Taketsugu Yao, Oki Electric Industory Co.,Ltd., Japan, Shingo Ata, Ikuo Oka, Osaka City University, Japan.
#### 全体
Japan 4
Portugal 1
Belgium 1
UK 1
France 2
Israel 1
Germany 1
Austria 1

## 発表者の質疑（松尾）
- 時刻t（障害発生時刻）では，障害の情報はまだなにももっていないのではないか？その場合どうやって予測するのか？
- 時刻tでは障害ログは受け取ってる前提．しかし障害は続くので，そこから復旧時刻とその間のトラヒック損失を予測する．