# Chpater 1: Introduction
## 1. 目的
* 本課程介紹了基本的神經網絡架構和學習規則
* 重點放在這些網絡的數學分析，訓練它們的方法以及它們在模式識別，信號處理和控制系統等領域的實際工程問題中的應用。
* 我們人有約$10^{11}$個神經元的高度互聯的集合幫助我們完成閱讀，呼吸，運動和思考。
* 本書要介紹的正是有關於這樣的神經元，以及包含這些神經元的網路及其訓練方法。
## 2. 歷史
神經網路的發展同時包含了**概念創新**和**實現開發**的進步。
* 神經網路領域研究的背景工作 :
* Pre-1940 : Herman Von Helmholts, Ernst Mach and Ivan Pavlov.
* 早期研究主要還是著重於有關學習，視覺和條件反射等一般理論，並沒有包含有關神經元工作的數學模型。
* 1940s : Warren MeCulloch and Walter Pitts
* 從原理上證明人工神經網路可以計算任何算術和邏輯函數。
* 通常認為他們的工作是神經網路領域研究工作的開始。
* 1940s : 在以上兩位學者提出後，Donald Hebb也指出了
* 經典的條件反射(Pavlov發現)是由單個神經元的性質引起的。
* 他提出了**生物神經元的一種學習機制**。
* 1950s : Frank Rosenblatt
* 第一個實際應用在此時出現。
* Rosenblatt與同事構造了一個perceptron network，並公開演示了他進行模式是別的能力。
* 不幸的是，後來研究表明基本的perceptron network只能解決有限的幾類問題。
* 1950s : at the same time, Bernard Widrow and Ted Hoff
* 引入了一個新的學習算法，用於訓練線性的神經網路，其結構功能類似於Rosenblatt的perceptron network，一樣有侷限性的問題。
* 其學習規則至今仍然使用 (Chapter 10)
* 1960s : Marvin Minsky and Symour Papert
* 證明了現有神經網絡的局限性，沒有新的學習算法，一些研究被暫停。
* 1970s : Teuvo Kohonen and James Anderson
* 分別獨立提出了能夠完成記憶的新型神經網路。
* 同時期，Grossberg在自組織網路方面的研究也十分活耀。
* 1980s : David Rumeljart and James McClelland
* 幾個不同的研究者分別開發出用於訓練多層perceptron的反向傳播算法。
* 重要的新發展導致該領域復興
* 60年代，缺發新思想和用於實驗的高性能電腦，一度動搖大家對神經網路的研究興趣。
* 80年代，隨著電腦和工作站的計算能力急遽增強和廣泛應用，不斷引入新的概念，克服神經網路研究面前的障礙，大家對神經網路的研究熱情空前高漲。
## 3. 應用
* 航空
* 自動駕駛優化器、飛機控制系統、飛機路徑模擬、飛機零件模擬。
* 汽車
* 汽車自動導航系統
* 國防
* 武器操縱、目標跟蹤、目標辨識、臉部識別、聲納、雷達和圖像訊號處理。
* 銀行
* 支票和其他公文閱讀器、信貸申請的評估器
* 電子
* 代碼序列預測、機器視覺、語音綜合、非線性建模
* 娛樂
* 動畫、特技、市場預測
* 金融
* 公司證券分級、通貨價格預測
* 保險
* 政策應用評估、產品優化
* 製造
* 生產流程控制、機器性能分析、項目投標、計畫和管理
* 醫療
* 修復設計、醫院費用節流、醫院品質改進、急診室檢查建議
* 石油和天然氣
* 探勘
* 機器人
* 軌道控制、操作手控制器、視覺系統
* 語音
* 語音辨識、語音壓所
* 有價證券
* 市場分析、自動證券分級、股票交易諮詢系統
* 電信
* 圖像和數據壓縮
* 交通
* 車輛調度、運送系統
## 4. 生物學的啟示
* 人腦由大量(約$10^{11}$個)高度互聯的單元(每個單元約有$10^{4}$個連接)組成，其單元稱之為**神經元**。
* 神經元有三部分組成:
* 樹突(Dendrites)
* 樹狀的神經纖維接收網路，它可以將訊號傳送到細胞體
* 細胞體(Cell Body)
* 將輸入訊號進行整合並進行閥值處理。
* 軸突(Axon)
* 單根長纖維，把細胞體的輸入訊號導向其他神經元。
* 突觸(Synapse)
* 一個神經細胞的軸突和另一個神經細胞樹突結合點。

###### tags: `Neural Network Design`