1. 機器學習透過預設的操作方法集尋找適合的資料表示法 机器学习算法在寻找这些变换时通常没有什么 创造性，而仅仅是遍历一组预先定义好的操作，这组操作叫作假设空间（hypothesis space）。 2. 深度學習透過資料變換，實現將輸入映射到目標這件事，而資料變換的方法是通過觀察例子學習到的 机器学习是将输入（比如图像）映射到目标（比如标签“猫”），这一过程是通过观察许多输入和目标的示例来完成的。你还知道，深度神经网络通过一系列简单的数据变换（层）来实现这种输入到目标的映射，而这些数据变换都是通过观察示例学习到的。 3. 損失函數用來計算預測和真實數值的距離，以衡量網路效果

紀錄關鍵字&重點部分。後續須另外找資源和練習。 https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php https://github.com/virginiakm1988/ML2022-Spring https://www.kaggle.com/competitions/ml2022spring-hw1/overview https://pytorch.org/docs/stable/data.html#torch.utils.data.Dataset [toc] Week 1

Source: 李宏毅ML2022Course [toc] General Guide Model Bias Model Bias是因為model太過簡單，所包含的function set太少

輸入的聲音訊號是一串向量 輸出的文字是一串token Token的形式例如Phoneme，發音能夠識別的最小單位，類似音標 Lexicon紀錄文字和phoneme間的轉換方式 Phoneme和聲音訊號之間的關聯比較明確 ![](https://i.imgur.com/iCNJOkv.png

FFT DCT Discrete Cosine Transform

根據Pytorch框架可以大略分成以下六大模塊 Pytorch已經處理不同模塊I/O的對接，讓使用輕鬆不少 依照任務不同需要個別調整 1.Pre-processing 2.Define Dataset from torch.utils.data import Dataset class MyDataset(Dataset) def __init__(self, x, y=None) def __getitem__(self, index)

Regression Model會懲罰output太大的點，往往會得到不好的結果 Regression在處理MultiClass問題時，會出現類別間關係誰進誰遠的問題 One-hot vector可以避免出現類別之間距離誰近誰遠的問題 Regression輸出為數值，Classification輸出為向量 Classification通常在最後一步多做softmax，讓所有數值介在0~1(Normalization)

希望使用一組Sampling Data training得到參數和Loss，可以和使用Universe Data training得到的參數和Loss能相近 模型的複雜程度(Model complexity)是指一個function集合內可選擇的數量多寡 independently & identically distributed(i.i.d)是一個對資料集的理想假設。假設(每次作sampling時資料取出的資料都是獨立)而且(資料集的分布都維持固定) Hoeffding's Inequality意味取得差的訓練資料的機率會有一個上界2exp(-2N$\epsilon^2$)，前提是Loss的範圍界在[0,1] 根據Hoeffding's Inequeality，訓練資料數目越多或Model複雜度越小，sample到壞的資料機率會降低

Convolutional Neural Networks Course: ML2022, 李宏毅 影像辨識的隱藏層作用是辨認某些關鍵pattern Convolutional layer特色包含Receptive Field和Parameter Sharing CNN Model專為影像設計，即使Model bias較大，對影像來說可以接受 概念和影像相通的任務也許也可以用CNN

為甚麼資料前處理需要縮放到[0, 1]區間

# Feature Selection

生成式對抗網路 Course: 李宏毅 機器學習2021 連結 Network 輸入x 加上從某distribution sample出來的另一個隨機變數 distribution需要夠simple Network輸出為一distribution Unconditional Generation 先不考慮input x

Vscode Python Virtual Environment Python Document-Virtual Environments and Packages VScode Document-Using Python environments in VS Code CS231n:Deep Learning for Computer Vision Class website Github-assignment solution E-book zlibrary

MSE, Mean Square Error 均方誤差 預測值和真實值之間距離的平方和 又稱L2 loss MSE越小，說明預測模型描述實驗資料有更好精確度 懲罰偏離值較重 RMSE, Root Mean Square Error 均方根誤差

切換python code/shell script +exclamation mark! import torch torch.cuda.is_available() !ls

[toc] Additional of Polynomials cyclic linked list #include<stdio.h> #include<stdlib.h> #include<iostream> using namespace std;

Code structure Class of Dataset class COVID19Dataset(Dataset) init getitem len

Ch9 統計降維法 休斯現象(Hughes phenomenon) 維度詛咒(Curse of dimentionality)