在當前AI的光環之下，有許多現象已經被專業人士提出，而這些現象告訴我們，現在的人工智慧並不智慧。其中最有名，也是最容易影響常用AI模型的就是對抗樣本攻擊：


如上圖，可以看到AI模型（這邊使用了inception_V3做被害者）對著一張貓咪照片自信滿滿的說牠是台烤土司機。

首先用一種對人類而言看起來像是雜訊的信號（實際上是經過設計的）「污染」訓練集的圖片，上圖中貓的照片就透過程式加入了雜訊－－儘管很微小，對我們人類而言牠看起來還是貓。

用原本的圖片測試模型，模型識別有 92.6% 的機率是「貓」；而用被「污染」過的圖片測試模型，模型會把上圖顯然是貓的照片標記為「烤土司機」，機器認為準確度為 97.8%－－比原始照片被辨識成貓的機率還有信心。

對人類來說差不多的東西，為何對機器來說會截然不同？

問題發生在，神經網路終究是個精緻的數學模型，透過數學運算，在複雜空間中劃出可以分開各種類別樣本點的超平面。

所以只要知道超平面的存在，就有辦法透過方法將樣本點推過超平面，讓神經網路分類錯誤。這種錯誤源自於神經網路結構的本質，幾乎難以預防－－當然有一些手段減少他的影響，但該方法的複雜度和成本都遠超過一般開發的水平。

對抗例攻擊對於現在常用的影像辨識網路有相當良好的效果，且不僅是刻意生成，有時候自然雜訊也會造成類似的效果。當然，指的是常用的影像辨識網路－－由於影像辨識行之有年且通常有特定的對象，因此使用比較小的模型是常態。模型越小，越容易在對抗例測試中被抓到漏洞。