On Graduated Optimization for Stochastic Non-Convex Problems Überblick Es wird ein Algorithmus gegeen, der mit eier Wahrscheilicheit vo 1-p für die lasse der $\sigma$-nicen nicht-onvexen Funtionen eine $\epsilon$-optimale Lösung in O(1/$\sigma$^2^$\epsilon$^2^) Iterationen findet Mit Hilfe der Gradient Oracles wird eim Smoothing noise hinzugerechnet Methoden Gradient Oracles 

Hey David, wir haben wieder einige Fragen, hauptsächlich zu den Papern, die du uns geschickt hast. Vorweg erstmal zu unserem aktuellen Stand: Wir sind gerade dabei weitere Optimizer zu implementieren und die Experimente aufzubauen. Bis jetzt haben wir nur Adam implementiert, da wir uns auch damit beschäftigt haben die Experimente auf dem GPU-Server zum laufen zu bringen. Das funktioniert jetzt und mit SSG und Adam läuft gerade die erste Experimentreihe. Wir haben uns mit den 4 Papern, die du uns geschickt hast, beschäftigt und haben vor, sowohl aus den Papern Lösungen einzubauen als auch andere Optimizer im SSG Algorithmus einzusetzen und auszuprobieren.

https://ruder.io/optimizing-gradient-descent/ https://johnchenresearch.github.io/demon/ ADAM Implementationen https://gluon.mxnet.io/chapter06_optimization/adam-scratch.html https://github.com/sagarvegad/Adam-optimizer/blob/master/Adam.py CUDA Python https://devblogs.nvidia.com/numba-python-cuda-acceleration/

Problem: Find an optimizer which minimizes the Fréchet function “as good as possible” for samples from many datasets. ToDo [ ] Alternative Optimizer suchen - == Frechet function minimizer - reine nonsmooth analysis? - geeignet für Frechet? - gibt es eine Veröffentlichung dazu?

Wie verhalten sich die verschiedenen DTW Varianten zuanander? irrelevant performance measure - epoch variation - exact means (published?) gradiete asierter asatz (zw sugradiet)

Hallo David! Wir möchten dir kurz mitteilen, wo wir in dem Projekt gerade stehen und was unsere offenen Fragen sind. Aktueller Stand Wir haben uns intensiv mit deinem Paper [1] beschäftigt und haben eine kleine Literaturrecherche zu dem Thema durchgeführt. Das Konzept von DTW haben wir soweit verstanden. Auch die Problematik der Optimierung der Fréchet Funktion ist uns klar geworden. Kein vollständiges Verständnis haben wir von den mathematischen Details und Implikationen lokaler Lipschitzstetigkeit und Subgradienten. Arbeitspakete