---
# System prepended metadata

title: 'Chpater 1: Introduction'
tags: [Neural Network Design]

---

# Chpater 1: Introduction
## 1. 目的
* 本課程介紹了基本的神經網絡架構和學習規則
* 重點放在這些網絡的數學分析，訓練它們的方法以及它們在模式識別，信號處理和控制系統等領域的實際工程問題中的應用。
* 我們人有約$10^{11}$個神經元的高度互聯的集合幫助我們完成閱讀，呼吸，運動和思考。
* 本書要介紹的正是有關於這樣的神經元，以及包含這些神經元的網路及其訓練方法。
## 2. 歷史
神經網路的發展同時包含了**概念創新**和**實現開發**的進步。
* 神經網路領域研究的背景工作 :
    * Pre-1940 : Herman Von Helmholts, Ernst Mach and Ivan Pavlov.
        * 早期研究主要還是著重於有關學習，視覺和條件反射等一般理論，並沒有包含有關神經元工作的數學模型。
    * 1940s : Warren MeCulloch and Walter Pitts
        * 從原理上證明人工神經網路可以計算任何算術和邏輯函數。
        * 通常認為他們的工作是神經網路領域研究工作的開始。 
    * 1940s : 在以上兩位學者提出後，Donald Hebb也指出了
        * 經典的條件反射(Pavlov發現)是由單個神經元的性質引起的。
        * 他提出了**生物神經元的一種學習機制**。
    * 1950s : Frank Rosenblatt
        * 第一個實際應用在此時出現。
        * Rosenblatt與同事構造了一個perceptron network，並公開演示了他進行模式是別的能力。
        * 不幸的是，後來研究表明基本的perceptron network只能解決有限的幾類問題。
    * 1950s : at the same time, Bernard Widrow and Ted Hoff
        * 引入了一個新的學習算法，用於訓練線性的神經網路，其結構功能類似於Rosenblatt的perceptron network，一樣有侷限性的問題。
        * 其學習規則至今仍然使用 (Chapter 10) 
    * 1960s : Marvin Minsky and Symour Papert
        * 證明了現有神經網絡的局限性，沒有新的學習算法，一些研究被暫停。
    * 1970s : Teuvo Kohonen and James Anderson
        * 分別獨立提出了能夠完成記憶的新型神經網路。
        * 同時期，Grossberg在自組織網路方面的研究也十分活耀。
    * 1980s : David Rumeljart and James McClelland
        * 幾個不同的研究者分別開發出用於訓練多層perceptron的反向傳播算法。
        * 重要的新發展導致該領域復興
* 60年代，缺發新思想和用於實驗的高性能電腦，一度動搖大家對神經網路的研究興趣。
* 80年代，隨著電腦和工作站的計算能力急遽增強和廣泛應用，不斷引入新的概念，克服神經網路研究面前的障礙，大家對神經網路的研究熱情空前高漲。
## 3. 應用
* 航空
    * 自動駕駛優化器、飛機控制系統、飛機路徑模擬、飛機零件模擬。
* 汽車
    * 汽車自動導航系統
* 國防
    * 武器操縱、目標跟蹤、目標辨識、臉部識別、聲納、雷達和圖像訊號處理。
* 銀行
    * 支票和其他公文閱讀器、信貸申請的評估器
* 電子
    * 代碼序列預測、機器視覺、語音綜合、非線性建模
* 娛樂
    * 動畫、特技、市場預測
* 金融
    * 公司證券分級、通貨價格預測
* 保險
    * 政策應用評估、產品優化
* 製造
    * 生產流程控制、機器性能分析、項目投標、計畫和管理
* 醫療
    * 修復設計、醫院費用節流、醫院品質改進、急診室檢查建議
* 石油和天然氣
    * 探勘
* 機器人
    * 軌道控制、操作手控制器、視覺系統
* 語音
    * 語音辨識、語音壓所
* 有價證券
    * 市場分析、自動證券分級、股票交易諮詢系統
* 電信
    * 圖像和數據壓縮
* 交通
    * 車輛調度、運送系統
## 4. 生物學的啟示
* 人腦由大量(約$10^{11}$個)高度互聯的單元(每個單元約有$10^{4}$個連接)組成，其單元稱之為**神經元**。
* 神經元有三部分組成: 
    * 樹突(Dendrites)
        * 樹狀的神經纖維接收網路，它可以將訊號傳送到細胞體
    * 細胞體(Cell Body)
        * 將輸入訊號進行整合並進行閥值處理。
    * 軸突(Axon)
        * 單根長纖維，把細胞體的輸入訊號導向其他神經元。
    * 突觸(Synapse)
        * 一個神經細胞的軸突和另一個神經細胞樹突結合點。
![](https://i.imgur.com/xx2hrHd.png =x300)

###### tags: `Neural Network Design`