## **1. 目標 (Objective)**
本論文的主要目標是 **開發一種高效的、多核心 (multi-kernel) 事件驅動卷積處理模組 (ConvModule)，以提升事件驅動視覺感測器 (Event-Driven Vision Sensors, EDVS) 的處理能力**。具體來說，其目標包括：

1. **設計並實作一個專用的事件驅動卷積處理模組 (ConvModule)**：
- 能夠以**事件流**的方式，即時處理來自事件驅動感測器的輸入，而非傳統的逐幀處理方式。
- 透過 **多核心卷積 (multi-kernel convolution)**，允許不同的事件源使用不同的卷積核 (convolution kernel)。

2. **支持模組化和可擴展的架構**：
- 可作為構建模組化 **卷積神經網路 (Convolutional Neural Networks, CNNs)** 的基本單元。
- 能夠組裝多個此類模組，以實現層次化、可重新配置的神經網路，增強對**形狀與姿態不變性物體識別 (robust shape and pose invariant object recognition)**。

3. **提升處理效能與即時性**：
- 設計一種處理延遲極低 (100ns 級) 的 **事件驅動卷積模組**，使其能夠即時運行。
- 減少輸入與輸出事件之間的延遲，以實現「**準同步性 (pseudo-simultaneity)**」，確保影像處理的即時性。

4. **硬體實作與性能測試**：
- 在 0.35 μm CMOS 製程上實現一個測試原型。
- 驗證其在高幀率應用 (例如高速物件識別) 中的效能，例如：
- 辨識以 **2000 轉/秒** 旋轉的螺旋槳。
- 在 **410ms 內瀏覽 52 張撲克牌並識別其符號**。
- **跟蹤 5kHz 的示波器光點軌跡**。

---

## **2. 問題定義 (Problem Definition)**
傳統視覺系統基於逐幀 (frame-based) 影像處理，而這種方式存在以下問題：
- **數據量龐大**：
- 為了提高解析度，現代影像感測器需擴增畫素數量和幀率，導致**指數級增長的數據量**，對後續處理的計算與功耗需求非常高。
- **低效的處理方式**：
- 現有 CNNs 主要依賴 GPU/FPGA 進行處理，但這些方法是基於幀的，與**事件驅動視覺感測器的特性不匹配**，無法充分發揮其優勢。
- **即時性限制**：
- 在高速場景 (例如 2k rps 旋轉物體或 5kHz 示波器信號) 下，傳統影像處理架構的延遲**遠超過事件驅動視覺感測器的時間解析度 (sub-microsecond)**，導致關鍵資訊遺失。

為了解決這些問題，本研究提出：
1. **事件驅動卷積處理**：
- 不依賴逐幀方式，而是直接對來自事件驅動感測器的事件流進行卷積運算。
- 允許每個輸入事件觸發特定的 **卷積操作**，進一步保留事件時間資訊。

2. **多核心卷積**：
- 與過去只能運行**單個卷積核**的事件驅動卷積處理模組相比，本研究的 ConvModule **可根據事件來源選擇適當的卷積核**，大幅提升適用性。

3. **即時且高效的計算架構**：
- 採用高效能**數位運算**，避免類比電路的偏差問題，確保較高的計算精度 (6-bit accumulator)。
- 事件驅動方式確保輸入與輸出之間的「準同步性」，使高階識別 (例如物件識別) 可在**極短時間內完成**。

---

## **3. 限制條件 (Constraints)**
儘管本研究提出的 **事件驅動卷積模組** 具備多核心與即時處理能力，但仍存在一定的限制與挑戰：

### **(1) 記憶體與硬體資源限制**
- 受限於 0.35 μm CMOS 製程，現有晶片的**像素數量僅 64×64**，難以直接適用於高解析度應用。
- **Kernel-RAM** 容量有限，目前支援最多 **32 個卷積核**，未來需擴展以適應更複雜的神經網路架構。
- **6-bit 累加器 (Accumulator) 可能限制計算精度**，在某些應用中可能需要更高的位元深度。

### **(2) 訊號處理延遲與帶寬需求**
- **每個事件的處理時間為 100ns - 1μs**，但當輸入事件數量過大 (例如 DVS Retina 的高速輸出) 時，可能會產生計算瓶頸。
- **AER (Address-Event Representation) 通訊頻寬限制**：
- 事件驅動處理依賴 AER 匯流排傳遞資料，但當多個模組同時運行時，AER **通訊頻寬可能成為瓶頸**，影響整體效能。

### **(3) 系統擴展與集成挑戰**
- 目前的 **ConvModule 只能處理 64×64 像素**，若要擴展到更大影像，則需使用多個模組並進行同步整合。
- 多模組並行運作時，**如何確保 AER 訊號的即時性與同步性** 是一大挑戰。
- 本研究未涵蓋 **NoC (Network-on-Chip) 內部通訊架構**，但若要擴展為大規模 CNN，需要新的 AER 路由方法。

### **(4) 適用場景的限制**
- 本設計特別適用於 **高速視覺應用 (high-speed vision applications)**，如 **高速運動物件識別、機器人視覺、動態追蹤** 等，但在**靜態影像處理或低速應用中的優勢可能不明顯**。
- **事件驅動視覺感測器本身的侷限**：
- 需要事件驅動視覺感測器來產生適當的輸入事件。
- 若場景變化過於緩慢，事件輸出數量過少，可能會影響處理效果。

---

## **總結**
| 類別 | 內容 |
|------|------|
| **目標 (Objective)** | 開發一種即時的 **事件驅動多核心卷積處理模組**，用於增強事件驅動視覺感測器的處理能力，並支持模組化 CNNs。 |
| **問題定義 (Problem Definition)** | 傳統影像處理面臨數據量大、計算成本高、延遲無法滿足高幀率應用的問題。本研究通過 **事件驅動卷積** 提供即時、高效的解決方案。 |
| **限制條件 (Constraints)** | 1. **硬體資源受限** (Kernel-RAM、像素數量、計算精度) 2. **通訊頻寬挑戰** (AER 訊號瓶頸) 3. **系統擴展性問題** (多模組同步處理) 4. **應用範圍侷限** (需事件驅動視覺感測器，低速應用未必適用) |