# Score-Based Generative Modeling Through Stochastic Differential Equations

論文連結: https://arxiv.org/pdf/2011.13456.pdf

> 如果我們知道每個timestep的分布得分$\nabla_xlogp_t(X)$，則可以反轉此SDE

**Forward SDE**
$dx = f(X, t)dt + g(t)dw$
- $f(., t)$: $R^d$$\to$$R^d$ 是一個向量函數，$x(t)$的漂移係數（drift coefficient）
- $g(.)$: $R$$\to$$R$ 是一個純量函數，$x(t)$的擴散係數 ( diffusion coefficient)
- $w$是標準維納過程(standard Wiener process，又稱布朗運動)

**Reverse SDE**
$dx = [f(x,t)-g^2(t)\nabla_xlogp_t(X)]dt + g(t)d\bar{w}$
- $\nabla_xlogp_t(X)$ 是每個timestep的分布得分
- $dt$ 是一個無窮小的負數timestep
- $\bar{w}$ 是時間$T$倒流到時間0的標準維納過程

**其餘符號**
- $p_t(X)$表示$X(t)$的機率密度
- $p_{st}(X(t)|X(s))$表示$X(s)$到$X(t)$的轉換核(perturbation kernels)，其中$0 \leq s < t \leq T$

對於DDPM的擾動核$\{ p_{a_i}(X|X_0) \}^N_{i = 1}$，離散馬可夫鏈(加入noise的方式)是:
$X_i = \sqrt[]{1-\beta_i}X_{i-1} + \sqrt[]{\beta_i}Z_{i-1}, i = 1, ..., N$
當$N \to \infty$時，上式會收斂到SDE:
$dx = -1/2\beta(t)Xdt + \sqrt[]{\beta(t)}dW$ (VP-SDE，Variance Preserving，DiffPure中使用的SDE)

### 參考連結
原文翻譯：https://zhuanlan.zhihu.com/p/578322735
Score-based SDE理論推導：
https://zhuanlan.zhihu.com/p/589106222?utm_id=0
Score-based Generative Models總結：https://zhuanlan.zhihu.com/p/583666759
擴散模型與布朗運動和隨機微分方程的關係：https://zhuanlan.zhihu.com/p/562654949
擴散模型，Score-Matching和SDE，ODE的關係：https://zhuanlan.zhihu.com/p/576779879