Latex 數學式: https://hackmd.io/@sysprog/B1RwlM85Z
Hackmd 各種嵌入語法: https://hackmd.io/s/features-tw
Softmax with predicted-label smoothing (控制Softmax標籤平滑化程度)
Logit Function (羅吉特函數)
Logit Function 並不是指 Logistic Regression!!!
Logit Function 就是 Sigmoid Function 的反函數 (Inverse)
公式:
這個名稱常常出現在 Tensorflow 的 Loss Function中,例如:
其實 Tensorflow 的意思就是將尚未套用 Sigmoid 系列 Activation 的 Tensor,都稱其為 Logits tensor。例如:
當 CategoricalCrossentropy 設定 from_logits=True,函式會幫你把輸入 Tensor 補通過一個 Softmax Function,使 Tensor 轉成機率。當然預設為 False,表示預期你輸入的 Tensor 已經是 probability distribution。(相關連結)
由下圖可知 logit 就是 sigmoid 反函數,即未套用 sigmoid 的輸入值。
CrossEntropy
sigmoid
softmax
logits
temperature
soft-label
softmax推導
CrossEntropy
entropy