# Understanding Noise and Noise Reduction in CMOS Imaging Sensors
[TOC]
## 1. Noise Overview
- [Understanding Noise and Noise Reduction in CMOS Imaging Sensors](https://uasal.github.io/spacehardwarehandbook-public/reports/CMOS/CMOS_Noise_Sources.pdf)

- Signal Noise
    - 4.1 Photon Shot Noise
- Sensor Noise
    - Temporal Noise
        - 4.2 Dark Current Noise
            - 4.2.1 Diffusion Dark Current
            - 4.2.2 Deplete Region Generation
            - 4.2.3 Dark Current Shot Noise
        - 4.3 Transfer Noise
            - Non-ideal Charge Transfer Noise
        - 4.4 Electronic Noise
            - 4.4.1 MOS Transistor Thermal Noise
            - 4.4.2 kT/C Noise
            - 4.4.3 1/f Noise
            - 4.4.4 RTS Noise
            - 4.4.5 Leakage Current Shot Noise
        - 4.5 Other Noise
            - 4.5.1 ADC Quantizing Noise
            - 4.5.2 System Noise
    - Spatial Noise
        - 4.6 Fixed Pattern Noise
            - 4.6.1 Photo Response Non-Uniformity
            - 4.6.2 Column Fixed Pattern Noise
            - 4.6.3 Offset Spatial Variation
            - 4.6.4 Dark Signal Non-Uniformity
            - 4.6.5 Dark Current Fixed Pattern Noise

- $σ_{SHOT}$ 大致對應 Signal noise
- 其實 photo shot noise $σ_P$ 只是 shot noise $σ_{SHOT}$ 的一部分，但因為全部的 shot noise 都 follow signal $S$ 的 Possion（結果一樣），所以樹狀圖就只用 photo shot noise 來表達。
- $σ_{READ}$ 大致對應 Temporal noise
- 樹狀圖的 Temporal noise 的 $σ_{CTI}$、$σ_{LI}$、$σ_D$ 是屬於 $σ_{SHOT}$
- $σ_{FPN}$ 對應 Spatial noise
:::success
:bulb: Analog Gain 在哪裡？
- **Programmable Gain Amplifiers (PGAs)**：analog gain is primarily applied outside the individual pixel. The amplification occurs within the column-level readout circuitry, which processes signals from multiple pixels.
- 而 Analog gain 會將前面的 noise 都一起放大
- 本身也存在自身的內在雜訊
- 所以 Analog gain 在本篇沒有提到，但實際上他是在 4T transister design CDS 之後、ADC 之前才會由作用 Programmable Gain Amplifiers (PGAs) 這個電路放大。
- 書中暗示 A_SF 就是主要的類比增益放大器，這是錯誤，因為 Source Follower 本身不是主要的可調增益來源。
:::
## 2. Architecture
### 2.1 CMOS Active Pixel Structure
- 
- 光二極體（Photodiode）：像素中對光敏感的部分。
- 耗盡區（Depletion Region）：電子與電洞被消耗的區域。
- 詳細內容可見 https://hackmd.io/TixXEepXTY69dPFWOQw9-A
- 勢阱（Potential Well）：用於儲存光電子的位置。
- 電子經過 Photodiode 後的區域
- 自由區域（Field Free Area）：處於熱平衡的區域。
- 三個輔助電晶體（Three Support Transistors）：包括放大電晶體（Amplifier Transistor）、列匯流排電晶體（Column Bus Transistor）與重置電晶體（Reset Transistor）。
- 匯流排（Busses）：列選擇匯流排（Row Select Bus）、欄位匯流排（Column Bus）。
- 控制讀取的 pixel 的專屬位置
- 微透鏡（Microlens）：聚焦光線進入光二極體（PPD）。
### 2.2 Photodiode
- 
- nPD (Active Photodiode Region)
- PPD 的感光區域，光電效應發生的地方。電子就在這裡產生
- GR (Recombination-Generation Center, 複合-生成中心)
- 提供可移動的電荷載子 (電子和電洞) 給光電二極體的區域。
- p+ Pinning Layer (鎖定層)
- 保護光電二極體，避免來自 GR 區域的熱產生電子干擾；同時創造電場梯度，讓訊號電子能快速漂移到 Potential Well。
- p Well (Potential Well, 位能阱)
- 存儲光電子的區域，當光電二極體吸收光後，光電子會被存儲在此。
- TG (Transfer Gate, 轉移閘)
- 調控電子的流動，控制從 Potential Well 到 Floating Diffusion (浮動擴散區) 的電子流動。
- 控制方法可見 [How Does a MOSFET Work?](https://www.youtube.com/watch?v=rkbjHNEKcRw)
- nFD (Floating Diffusion, 浮動擴散區)
- 訊號電子的最終存儲區，在讀取時，電子會累積在此，導致該區的電壓變化（類比訊號），最後透過感測節點 (Sense Node，也就是後方的 transistor structure 的第一部分) 處理，來讀出（read out）像素電壓。
:::success
⚡ 光電子移動的順序
- 光打在 nPD 上，光電效應產生光電子
- 接著因為 p+ Pinning Layer 的電場，克服 nPD 與 p well 之間的 depletion region 使電子加速移動到 p Well (Potential Well) 裡儲存
- 接著因為 TG (Transfer Gate) 給的電壓，使 p Well 與 nFD (Floating Diffusion) 連通，讓電子最後存在 nFD
- nFD 電壓改變，等待 Sense Node 來 read out 這個電壓，成為 working voltage。
:::

### 2.3 Transistor
- 除了上述提到的基礎光子轉電子的 Photodiode，還有 transistor
- 用來控制電荷、讀出 readout 架構
- Four Transistor Design
- Transfer gate and transfer transister 轉移閘 (TG) 控制電子流入浮動擴散區域 (FD)
- Source follower transistor 是一種電壓緩衝器（Voltage Buffer），主要用來提供高輸入阻抗、低輸出阻抗。可以避免訊號衰減並提供驅動能力
- Row select transistor 列選擇電晶體 (MRS) 允許像素訊號傳輸到匯流排 (Column Bus)
- Reset transistor 重置電晶體 (MRST) 重置浮動擴散區域的電壓，準備下一次曝光
- 所以應該在 CDS
- 匯流排 (Column Bus) 後才會在接上 ADC
- **Correlated Double Sampling, CDS**
- 在此架構中使用 CDS，是降低感測器讀出噪聲（特別是 Reset noise 和 1/f noise）的技術
1. 第一次取樣（Reset Sampling）：
- 測量 Reset Noise（即 Read circuit 在還未接受信號時的輸出電壓）
- 這一步驟主要捕捉來自 Reset Transistor, RST 的 kTC 雜訊
2. 第二次取樣（Signal + Reset Noise Sampling）：
- 測量包含 Signal 與 Reset Noise 的電壓值，即電子累積後的輸出訊號。
- $\Rightarrow$ 1. 2. 做 Subtraction
- 第二次測量值 - 第一次測量值 = 淨訊號（信號 - Reset Noise）。
- 這樣可以消除重置雜訊，降低 kTC 雜訊的影響。
### 2.4 Shot noise
- ch 4.0 有完整的 noise 架構
- 上圖顯示訊號如何流經該架構。而當光子或電子流經某個系統時，它們的數量會有隨機波動，這就產生了 shot noise，這些 photo、electic 都會 follow Possion distribution
- 由一系列傳遞函數（transfer functions）組成，每個傳遞函數都與某種物理結構相關，本質上都是增益函數（gain functions）。
- 全部統稱 Shot noise，代表每個 transfer function（物理結構）都會加上 Shot noise 到 signal 裡面
- Semiconductor (Photodiode)
- $QE_1$：量子效率（Quantum Efficiency）
- 光子撞擊感測器後產生電子的可能性
- $η_1$：量子產額增益（Quantum Yield Gain）
- 每個入射光子所產生的電子數量
- 作者假設是1，所以後續 ch4.0 架構裡面 $\sigma_{SHOT}$ 沒有出現
- Transistor design
- $A_{SN}$：感測節點增益（Sense Node Gain）
- 位於 Floating Diffusion（FD） 區。當電子被轉移至 FD 後，FD 區的電位升高，對應一個可測量的類比電壓。
- $A_{SF}$：源極跟隨器增益（Source Follower Gain）
- MSF (Source Follower Transistor, 源極跟隨電晶體)，其作用是將感測節點（FD）上的電壓，經過緩衝後輸出至外部。
- $A_{CDS}$：相關雙取樣增益（Correlated Double Sampling Gain）
- 對FD 的「重置電壓」（Reset Level）與接收電子後 FD 的「信號電壓」（Signal Level）進行相減，來去除像素的重置雜訊（kTC noise）與部分低頻雜訊（如 1/f flicker noise）
- 但相減的過程是在 readout chain 的「欄（column）或晶片（chip）級電路」中進行，已經不在 4T transistor design 裡面。
- ADC
- $A_{ADC}$：類比數位轉換增益（Analog to Digital Converter Gain）
- 透過column bus 再送至 row bus，傳送並透過 ADC 轉換為數位數值（Digital Numbers）
- 每一個階段都會有各自的 Noise parameter
- 為什麼 4T transistor design 內都是 shot noise？又為什麼 shot noise 會 follow Poisson Distribution？
- **電子是離散的粒子，它們的流動（產生、存儲、轉移、讀出）並不是連續平穩的，而是根據機率統計分佈 Poisson Distribution 來發生。**
- 不過，雖然轉換函數 (Transfer Function)會增加 shot noise，但這不是唯一的雜訊來源。後面 ch4.0 會再討論。
## 3. Mathematical
- **Poisson Distribution**
- 
- X：離散隨機變數，代表在某段時間（或空間）內發生的事件數（例如光子數）。
- λ：平均事件率（mean rate），可視為在該時間或空間範圍內預期發生的事件數。
- 
- **Quadrature**
- 
- 將各種不相關的雜訊貢獻以均方根 (RMS) 的方式相加，也就是 Root-Sum-of-Squares。
- 不相關（Uncorrelated）不同來源的雜訊如果彼此無關 (uncorrelated)，則各自的變異數 (variance)可以直接相加。雜訊的標準差 $\sigma$ 代表振幅大小，方差 $\sigma^2$ 則代表「雜訊功率」或「雜訊能量」。
- 這種做法又稱在正交（quadrature）中相加，因此多個不同的雜訊源（例如光子散粒雜訊、熱雜訊、電子散粒雜訊、1/f 雜訊等），且它們彼此不相關，整體雜訊就是這種方式合成。

## 4. Noise Detail
### 4.0 Noise Architecture
### 4.1 Photon Shot Noise ($σ_P$)
- 影像感測器的應用中，光子到達感測器的過程可用 Poisson 分布來描述
- 每一段時間內，撞擊感測器的光子數是隨機的，但具有平均撞擊率 $λ$
- 影像訊號對應到的就是平均值（Mean）
- 標準差則是用來描述「實際量測值在平均值附近的偏離程度」，也就是雜訊
- 雜訊對應到的是標準差（Standard Deviation）
- 訊號對雜訊比 $SNR$
- $SNR=\frac{Image}{Noise}=\frac{Mean}{Standeard\ deviation}=\frac{\mu}{\sigma}=\frac{\lambda}{\sqrt{\lambda}}=\sqrt{\lambda}$
- 所以亮度提升，Standard Deviation（圖像噪音）上升，Mean（圖像訊號 Signal）會上升更多，因此整體訊號對雜訊比 $SNR$ 上升
- 所以暗情況噪音比較多

### 4.2 Dark Current Noise $(σ_D)$
- 指在沒有光照的情況下，感測器內部仍會產生的電荷
1. **Depletion Region Generation**
- Depletion Region 內雖然沒有電子或電洞，但會 Hopping Generation 出 trapped 電子與電洞，數量會隨著溫度升高而增加。
- 
2. **Diffusion Dark Current**
- 自由區域（Field-Free Region）在像素結構底部，可能含有載子。Photodiode 結構本身則有電場，使得該區域的電子會擴散至 Potential Well，並累積形成電流。這種擴散過程的效率也會隨著溫度升高而增加。
3. **Dark Current Shot Noise $σ_D$**
- 會因為 1. + 2. 流入 Potential Well 產生穩定的暗電流，這些電子本身的分佈也服從 Poisson Distribution，因此會產生一種 Shot Noise
- 
- 這裡 follow Possion 的 $x$，不是 photo shot noise 的光子 photo，而是電子 $N_D$，所以不是符合入射光子的 possion。

### 4.3 Transfer Noise $(σ_{CTI})$
- 電子從 Potential Well 經由 Transfer Gate 轉移至 Floating Diffusion Region, FD 的過程中，由於轉移不完全而產生的噪聲。是 temporal noise。
- [](https://oro.open.ac.uk/74611/3/Ivory_Image_Lag_PPD_SPIE2020.pdf)就是左邊的情況
1. **Potential Well Non-Ideality**
- 因為製造過程不佳，導致 Potential Well 的電場不均勻，電子聚集在 Transfer Gate, TG 附近，造成電荷轉移效率（Charge Transfer Inefficiency, CTI）下降，會導致影像殘影（Image Lag）
- 甚至有些電子會回流 Spill Back Lag
2. **Transfer Gate Non-Ideality**
- 也是因為製造過程不佳，Transfer Gate 本身的結構缺陷，產生 electric trap，capture 到電子
- 使回流的電子留在 TG 內
- 1.+2. 因為電子受到電場影響，而電荷的轉移效率不是 100%，不均勻的轉移也是一種 current flow，所以也是 Poisson distribution
- Transfer Noise 是 temporal shot noise
### 4.4 Electronic Noise $(σ_{SF})$
- Noise 來自讀出電路 readout circuitry（標記為 detector），也就是 transistor design 的部分
1. **Thermal Noise $(σ_{TH})$**
- Dark current noise，是因為熱，導致多產生電子的 noise
- 而這裡 Thermal Noise 是指原有的電子，被熱所擾動產生的 noise，由熱激發（thermal excitation）所引起。
- 可以類比為電流流經電阻或電容組合電路產生的雜訊。這類雜訊又可分為：
- MOS 電晶體熱雜訊（MOS transistor thermal noise）：當電流通過 MOSFET 的通道（Channel）時，由於電子與通道內原子的隨機碰撞，會產生電流波動。這種雜訊與 MOSFET 的通道電阻和溫度有關，正常情況下，這個值可以忽略。所以架構圖內沒有出現 $σ_{TH}$，只有出現下方的 $σ_{RESET}$ noise，
- MOSFET 指的是4T內的三個關鍵電晶體 Reset Transistor、Source Follower Transistor、Row Select Transistor，而 Photodiode 本身不是 MOSFET
- kT/C 雜訊：當 Reset Transistor（$M_{RST}$）開啟時，Floating Diffusion（FD）區域的電容 $C_{FD}$ 會被充電。當 Reset Transistor 關閉時，FD 電容內的熱擾動會導致電壓波動，這種波動就是 kT/C 雜訊。
2. **Sense Node Reset Noise $(σ_{RESET})$**
- transistor design 架構中，使用相關雙取樣（CDS）技術來消除 kT/C 雜訊。然而，未完全消除的部分仍然會變成像素源跟隨器的雜訊。
3. **1/f Noise $(σ_f)$**
- 被稱為 Flicker Noise，頻率越低，雜訊功率越大，因此它被稱為「1/f」。整個影像出現低頻閃爍或亮度變化
- 當載子移動時，由於半導體材料中的到矽與氧化層（Si-SiO₂）界面處的缺陷影響，在介面上漂移與散射，導致電流波動。
4. **RTS Noise $(σ_{RTS})$**
- Random Telegraph Signal Noise, RTS 或鹽與胡椒雜訊（Salt and Pepper Noise, SAP）又叫 Impulse Noise
- 在 CMOS 製造過程中，介面或晶格缺陷會形成電子陷阱（Electron Traps），所以信號才會隨機在兩個或多個離散電壓值間跳變，就像電報信號（Telegraph Signal）。
這種變化無法預測。
5. **Leakage Current Shot Noise $(σ_{LC})$**
- 因為CMOS 製造過程中的隨機誤差，在 Sence node (nFD) 或 Transfer gate 產生不期望的電荷傳輸 undesired charge transport

### 4.5 Other Noise
1. **ADC Quantizing Noise ($σ_{ADC}$)**
- 來自於類比訊號轉換為數位訊號時的四捨五入誤差。
- 
- AS 是增益（Amplification Gain）
- S 是感測器的訊號強度（signal strength）
2. **System Noise ($σ_{SYS}$)**
- 可能來自電子元件的不同部分
- Transient Noise（瞬態雜訊）來自突發性的電子干擾，例如電路開關或電壓突變。
- Settling and Ringing Noise（穩定與振鈴雜訊）在電路轉換狀態時，電壓未完全穩定時可能會產生的雜訊。
- Clock Phase Jitter Noise（時脈相位抖動雜訊）來自影像感測器內部時脈訊號的相位誤差，影響影像的取樣準確度。
- Circuit Crosstalk Noise（電路串擾雜訊）當不同的訊號線彼此干擾時，可能會導致額外的雜訊進入影像訊號。
- Power Supply Noise（電源供應雜訊）當電源供應不穩定（如電壓波動）時，可能會影響影像訊號的品質。
- Oscillation Noise（振盪雜訊）來自影像感測器或其電路中不穩定的振盪現象。
### 4.6 Fixed Pattern Noise $(σ_{FPN})$
- Noise 在同一個 sensor 會隨時間保持一致，但在不同的晶片之間可能會有所變化。
- **Light FPN**
- 1. **Photo Response Non-Uniformity ($σ_{PRNU}$)**
- 不同像素對光的響應不同
- 主要來自 CMOS 或 CCD 製程關係，導致感測器內部像素之間的量子效率（Quantum Efficiency, QE）的不同、增益變異（Gain Mismatch）和不同像素的最大電子存儲容量（Full-Well Capacity）不同。
- 
- $σ_{PRNU}$：PRNU 的標準差（rms），表示像素之間的光響應變異。
- $P_N$：Fixed Pattern Noise Quality Factor
- $S$：入射信號（光子數或電子數）。
- 2. **Column Fixed Pattern Noise ($σ_{CFNU}$)**
- 來自於 CMOS 欄位級放大器（CMOS column level amplifiers）增益的不一致
- 通常是通過切換電容放大器（switched capacitor amplifiers）來實現的，因此，這類增益差異主要是電容匹配不良（capacitor mismatch）
- 3. **Offset Spatial Variation Noise ($σ_{OFPN}$)**
- 像素對相同光照條件的 response 不同，導致某些區域比其他區域更亮或更暗
- 來自於 transfer gate 的結構性差異
- **Dart FPN**
- 4. **Dark Signal Non-Uniformity ($σ_{DSNU}$)**
- 當感測器在完全黑暗的條件下（無入射光）仍然產生不同的像素電壓變化
- 來自 CMOS 感測器內部像素的偏壓變異，不同像素的有不同的偏壓（bias voltage）
- 5. **Dark Current Fixed Pattern Noise ($σ_{DFPN}$)**
- 影像感測器在沒有光照的情況下，因為熱擾動或製程變異，電子仍然會被激發並產生信號
- 來自於 Dark Current，即在沒有光照的情況下，感測器內部仍會產生電子，進而影響影像訊號。
- 
- $D$ 是單位時間內平均產生的暗電流電子數（以電子數 e⁻ 計算）。
- $D_N$ 是暗電流 FPN 品質因子（Dark Current FPN Quality Factor），其數值範圍通常在 10% 至 40% 之間，代表 CMOS 影像感測器的 DFPN 水準。

## 5. Combined Effect of Noise
### 5.1 Classification
- 將 CMOS 影像感測器內的雜訊分為三大類
1. **Shot Noise（$σ_P$）**：來自光子與電子流動的隨機變動，符合 Poisson 分佈
2. **Read Noise（$σ_READ$）**：來自讀取過程（偵測器、CDS、ADC）的雜訊，屬於時間性雜訊（Temporal Noise）
3. **Fixed Pattern Noise（$σ_FPN$）**：來自 CMOS 像素結構變異的雜訊，屬於空間性雜訊（Spatial Noise）
- **Combined SNR From All Sources**
- 
### 5.2 SNR Slopes
- 
- 實驗
- 橫軸是對 signal 取 log
- 縱軸是對 noise 取 log
- 斜率（取微分）就是對數尺度下（log-log plot）的 SNR
- **低信號區域**
- 對 Read noise 的 SNR 在對數尺度下（log-log plot）微分可知，SNR 與信號強度線性成長（斜率 $m=1$），SNR 成長速度為 $S$
- 所以從圖上 slope 判斷可知，受讀取雜訊主導（Read Noise Regime）
- **中等信號區域**
- 對 Shot Noise 的 SNR 在對數尺度下（log-log plot）微分可知，SNR 與信號強度線性成長（斜率 $m=1/2$），SNR 成長速度為 $S^\frac{1}{2}$
- 所以從圖上 slope 判斷可知，受 Poisson 雜訊主導（Shot Noise Regime）
- **高信號區域**
- 對 FPN Noise 的 SNR 在對數尺度下（log-log plot）微分可知，SNR 停止成長（斜率 $m=0$），呈現飽和現象
- 所以從圖上 slope 判斷可知，受 FPN 雜訊主導（FPN Regime）
- **超高信號區域**
- CMOS 感測器達到 Full Well Capacity（飽和容量）時，SNR 不再隨著信號成長
- 因為當像素電荷達到最大時，即使增加曝光量，也無法再增加信號 S，導致 SNR 直接停滯
- 在 log-log plot 上對應 $m=∞$（分母 $\Delta log S = 0$），即一條垂直線，表示信號完全飽和。