Score-Based Generative Modeling Through Stochastic Differential Equations

論文連結: https://arxiv.org/pdf/2011.13456.pdf

如果我們知道每個timestep的分布得分

${\mathrm{\nabla }}_{x}log{p}_t(X)$，則可以反轉此SDE

Forward SDE

$dx=f(X,t)dt+g(t)dw$

• $f(.,t)$:
  $R^d$
  $\to$
  $R^d$ 是一個向量函數，
  $x(t)$的漂移係數（drift coefficient）
• $g(.)$:
  $R$
  $\to$
  $R$ 是一個純量函數，
  $x(t)$的擴散係數 ( diffusion coefficient)
• $w$是標準維納過程(standard Wiener process，又稱布朗運動)

Reverse SDE

$dx=[f(x,t)-g^2(t){\mathrm{\nabla }}_{x}log{p}_t(X)]dt+g(t)d\overline{w}$

• ${\mathrm{\nabla }}_{x}log{p}_t(X)$ 是每個timestep的分布得分
• $dt$ 是一個無窮小的負數timestep
• $\overline{w}$ 是時間
  $T$倒流到時間0的標準維納過程

其餘符號

• $p_t(X)$表示
  $X(t)$的機率密度
• $p_{st}(X(t)|X(s))$表示
  $X(s)$到
  $X(t)$的轉換核(perturbation kernels)，其中
  $0\le s<t\le T$

對於DDPM的擾動核

$\{p_{a_i}(X|X_0){\}}_{i=1}^N$，離散馬可夫鏈(加入noise的方式)是:

$X_i=\sqrt{1-{\beta }_i}{X}_{i-1}+\sqrt{{\beta }_i}{Z}_{i-1},i=1,...,N$
當

$N\to \mathrm{\infty }$時，上式會收斂到SDE:

$dx=-1/2\beta (t)Xdt+\sqrt{\beta (t)}dW$ (VP-SDE，Variance Preserving，DiffPure中使用的SDE)

參考連結

原文翻譯：https://zhuanlan.zhihu.com/p/578322735
Score-based SDE理論推導：
https://zhuanlan.zhihu.com/p/589106222?utm_id=0
Score-based Generative Models總結：https://zhuanlan.zhihu.com/p/583666759
擴散模型與布朗運動和隨機微分方程的關係：https://zhuanlan.zhihu.com/p/562654949
擴散模型，Score-Matching和SDE，ODE的關係：https://zhuanlan.zhihu.com/p/576779879