# Mail an David (17.06.2020)

Hey David,

wir haben wieder einige Fragen, hauptsächlich zu den Papern, die du uns geschickt hast.

Vorweg erstmal zu unserem aktuellen Stand:

Wir sind gerade dabei weitere Optimizer zu implementieren und die Experimente aufzubauen. Bis jetzt haben wir nur Adam implementiert, da wir uns auch damit beschäftigt haben die Experimente auf dem GPU-Server zum laufen zu bringen. Das funktioniert jetzt und mit SSG und Adam läuft gerade die erste Experimentreihe.

Wir haben uns mit den 4 Papern, die du uns geschickt hast, beschäftigt und haben vor, sowohl aus den Papern Lösungen einzubauen als auch andere Optimizer im SSG Algorithmus einzusetzen und auszuprobieren.

---

Unsere Fragen zu den Papern:

Zwei der Paper beschreiben Lösungen, die nur für konvexe Funktionen definiert sind (Online Adaptive Methods, Universality and Acceleration & Improved SVRG for non-strongly-convex or sum-of-non-convex objectives) - wir haben nicht ganz verstanden, wie uns das bei der Optimierung der Frechet Funktion helfen kann- sollte man die Lösungen ausprobieren, trotz der verschiedenen Funktionsklasse?

Das paper On Graduated Optimization for Stochastic Non-Convex Problems beschreibt eine Lösung, die für σ-nice functions definiert ist. Ist es möglich einen Beweis zu führen, der zeigt, dass die von uns betrachteten Frechet Funktionen σ-nice sind?

In dem Paper A Hitting Time Analysis of Stochastic Gradient Langevin Dynamics wird eine Lösung vorgestellt, die eine Funktion mit kompakten Parameterraum fordert - wie würde ein solcher im Falle der Frechet Funktion aussehen?

---

Außerdem hätten wir noch folgende Fragen zu eurer Pyhton Implementierung (Datei ist angehängt):

Zu Zeile 69: `subgradient = 2 * (V * z - W.dot(x_i))`
Welche Bedeutng hat der Faktor 2? Der kommt im Pseudocode in eurem Paper nicht vor.

Macht es Sinn verschiedene batch Größen auszuprobieren? Also kann man über die subgradients für mehrerere sample einen Durschnitt bilden und diesen dann für das Update verwenden?

Wir würden uns freuen, wenn wirdie Fragen am nächsten Mittwoche per call klären könnten :)

Beste Grüße

Max & Faraz