# ACML 2021 SAM paper rebuttal

## Reviewer 1　(weak Accept)
### ポジティブ
- 論文がわかりやすく書かれており、内容が理解しやすかった。
- ミニバッチサイズ（グローバル）を大きくしても、SAMではロスシャープネスが発生しないのに、SAMを使わないベースラインではロスシャープネスが発生するなど、いくつかの実証結果が出ています。
- ミニバッチサイズが大きい場合にSAMが有効であるというのは興味深いことです。広範な実験により、SAMアルゴリズムの他の特性も明らかになっており、今後SAMを使用する実務者にとっても参考になるだろう。

### ネガティブまたは疑問点、改善点
- CIFAR-10データセットのみの結果である。（オリジナルのpaperではCIFAR-10/100、Fashion-MNIST、SVHN、他には、Stanford Cars、C10、C100、Birdsnap、Food101、ImageNetがあるはず）
- 有意性/新規性がそれほど高くないことです。例えば、異なるバッチサイズの実験（256まで）は既に先行研究で行われていましたが、本論文では512と1024を追加しています。

### マイナーコメント
- All papers in the reference has full names except the entry with S and Q, ICLR 2018.
- 2ページ目の rho は $\rho$ とすべき

## Reviewer 2　(strong Reject)
### ポジティブ
- わかりやすく、結果の再現性は正しく評価されている

### ネガティブまたは疑問点、改善点
- この論文は、新しい発見がない代わりに、様々なハイパーパラメータの実験を行っているので、新規性に欠けます。著者は、SAMや分散学習における核心的な課題を見つけ、その課題をどのように克服したかを明らかにすべきである。
- 計算時間を短縮するために、著者はSAMモデルの分散学習にデータ並列アプローチを使用しました。しかし、この分散戦略は単純であり、何の課題もありません。現状では、研究論文ではなく、技術報告書のようになっています。
- 図-1と図-3では、各クライアントが他のすべてのノードから勾配を送受信し、それらを平均化する完全分散型の通信戦略を採用しています。これは膨大な通信オーバーヘッドを発生させ、最終的に全体のトレーニング時間とリソース消費量に影響を与えることになります。
- SAMはヘシアンベクトル積で曲率を求める手法でもあるため、LBFGSなどの2次最適化手法との比較も考慮すべきである。

## Reviewer 3　(Accept)
### ポジティブ
- この論文はよく書かれており、全体的に良い。

### ネガティブまたは疑問点、改善点
- 序章の第1段落で、シャープなミニマムの理由として、グラデーションの分散が小さいことを挙げられています。私は、他の要因により、分散が常に小さくなるとは限らないと考えていました。これはデータ並列の研究ではよく知られた問題なのでしょうか？
- なぜSAMがSWAやEntropy-SGDなどの他の手法よりも優れているのかを説明できる一文があれば、より明確になると思います。
- In Section 2.1, it says "This produces the same result as ... ". It seems inconsistent that you later mentioned that "obviously different form ..." below the Figure 1.
- It is observed that in data parallel setting a global mini-batch is always needed. I would like to know is it related to centralized/dis-centralized distributed learning.
- グローバルのみのSAMよりも、個々のGPUでのSAMの方が計算量が多い。学習時間はどうなるのか？

## Reviewer 4　(weak Reject)
### ポジティブ
- 分散学習をデータ並列化の一つの手法として捉えている点は評価できる
- 著者は、新たに登場した最先端の最適化技術に基づいて研究を進めています。

### ネガティブまたは疑問点、改善点
- フルペーパーにするには作業量や貢献度が不足していると思われます。
- SAMの論文と比較すると、報告されている実験結果は全体のテスト精度に限られています。
- 論文の中のいくつかの主張は、実証を欠いています。例えば、項5では、SAMのサンプル数が多いほど正則化効果が強くなるとしています。私が気になっているのは、全体のテスト精度を除いて、この観点を検証する証拠はあるのかということです。また、並列度が高いほど精度が高くなるとは限らないケースもあります（例：global batch_size=64と128）。

## 総評
全体的に、実験評価の方法やわかりやすさは評価されている。
一方で、新規性や貢献性がまだまだ足りない。他データセット(CIFAR100, ImageNet等)も追加検証するべき。（rhoを絞ってでもいいから、他のデータセットでやったやつを載せるのがいいかも。）
あとは今Elvinさんにやってもらっているバッチサイズの拡張も加えて寄稿しても良さそうだが、それは他で出してもいいかなあと思ったり。
また、reviewer 2 の人を納得させるためには、実際の速度比較も必要そう。