loss function

我們舉個簡單的例子:
這一張考卷的正確解答為 A A B C D
小明的答案是 A B B C D 正確率 80% 錯誤率 20%
小美的答案是 B B A D D 正確率 20% 錯誤率 80%

大家都會比誰的正確率比較高，但在這邊我們需要反向思考
誰的錯誤愈比較低

那什麼是 loss function -> 『損失函數』
在神經網路中就是看看我們的神經網路輸出和正確答案差距有多大
所以 loss function 值越小越好
用上面的例子來講就是錯誤率越低越好啦~~

知道概念接下來就是數學問題了~~

當正確答案和學習機給的答案越小所出來的 loss function 越小
在換個白話一點的

$y_i-f_{\theta }(x_i)$ 就是我們講的錯誤率

所以你考卷錯得越少你的錯誤率不是越低你也會很開心嗎?
同理，loss function 越小我們越喜歡

那前面為甚麼要除以2 還有為什麼有 sigma 我們先跳過
因為 loss function 有很多種 這只是其中之一