:::info
:apple:自己的筆記都會有一些murmur的聲音
:sparkles:study Deepstream
:sparkles:study PINO

:::

#### ONNX檔

>ONNX（英語：Open Neural Network Exchange）是一種針對機器學習所設計的開放式的文件格式，用於存儲訓練好的模型。它使得不同的人工智慧框架（如Pytorch、MXNet）可以採用相同格式存儲模型數據並交互。--- Wikipedia

#### TensorRT
>這是Nvidia自己推出的深度學習推論平台，比起一般在使用的Pytorch,Tensorflow框架，會提高GPU運算的速度。我們可以將其他框架(Pytorch,TF)訓練好的模型轉成TensorRT進行運算。
>
>TensorRT是C++,Python和CUDA寫成的庫。
>
>需要注意的是，TensorRT支援的險卡須要算力在5.0以上，阿不就還好我這台老阿公GPU分數有5.2:scream_cat:BTW,今天才知道這裡的算力雖然叫做算力，但是不完全等於這張GPU的計算速度，比較像是「代(Generation)」的概念，比較新一代的GPU當然是算力比較好，不過像是5.2這種數字，只要是5開頭的都差不多，後面的2有其他意義。
>
>
>對於大矩陣運算效率提升明顯，像是卷積運算。如果是簡單的小動作reshape,split效率提升就不明顯。

###### 很常會講到SDK，都只是大概知道在指甚麼，每次用到這個字都會想說我之後要去查這是甚麼的縮寫，SDK就是Software Development Kit，就是「軟體開發工具套件」，eg.TensorRT是一種Nvidia深度學習的SDK:smile:

#### TensorRT 引擎
>模型轉成TensorRT檔案後，要再建立TensorRT引擎，引擎可以接收Input/Output。
>從一般架構模型到引擎的過程為下
>
>| 流程 |
>| --------------------- |
>| Tensorflow/Pytorch保存成.pb檔 |
>↓
>| 用ONNX parsor轉成ONNX檔 |
>↓
>| 用Builder導入TensorRT |
>↓
>| 建構TensorRT Engine |
>↓
>| 給TensorRT Engine 輸入 |
>
>* 有些人會寫Logger記錄，會接收各種引擎在Inference時的訊息。

#### Fourier transform 2024-1-10
>1. 一般提到傅立葉轉換我會跟Laplace一起聯想，Laplace之前用到比較多是為了要求解微分方程式。
>2. 這裡再次看到fourier是因為Nvidia出了一個叫做PINO(Physical informed neural opertor)的神經網路，除了物理信息的部分，我對fourier operator比較不清楚，想再筆記一下。
>
>Fourier transform(FT)概念是提取週期性的信息。一般在time domain看到的數據不一定可以直接被理解，像是聲音資料，一般的raw data是震幅(amplitude)對時間，然而處理聲音通常是對「頻率」(frequency)作處理，像是濾波(過濾特定頻率)，把聲音中的高音頻拿掉或是過濾噪音之類的，這時候就要在frequency domain做處理才是比較直覺的。除了聲音，在影像上也可以用FT做轉換得到另一個角度的資訊。
>:exclamation:F domain和T domain得到的本質上是同一種東西，只是不同面向(時間or頻率)
>
>FT被拿來用在神經網路(NN)裡面是因為NN在訓練常見的一個問題，就是有Spectral bias，Spectral bias 就是指機器會偏向學習低頻域(low frequancy domain)的資料。
>
>
>[圖片來源](https://hao-lun-sun.medium.com/%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-%E7%B2%BE%E8%AE%80-nips20-fourier-features-let-networks-learn-high-frequency-functions-in-low-dimensional-38186f63f8ef)
>
>所以在進去NN理訓練時，需要確定機器學習數據可以是stationary。
>
>:bulb:Stationary kernels — functions that depend only on the radial distance between points in some user-defined metric, and. Non-stationary kernels — functions that depend on the value of the input coordinates themselves. [Source](https://george.readthedocs.io/en/latest/user/kernels/)
簡單來說就是可以讓機器單純判斷特定數據的樣式去學習，而不會被其所在的頻段影響學習。
>
>所以Fourier neural operator在這裡就被用來做這件事，透過將Input data以Fourier feature mapping的方式，來達成後續製造一個stationary kernel以消去Spectral bias。
>* FNO提出是專門解決NN求解PDE的方法。

#### NV link
>上次在填寫算力資源表的時候看到的一些名詞。
>NVLink將連接機器的處理器（CPU 和 GPU），以便它們交換資料的速度提高5到12倍。

#### NV Switch

#### Magnum IO
.

.

.

.

.

.

.

#### :heavy_check_mark: Questions
* GPU 算力數字的意義是甚麼?

.

.

.更新中

.

.

.

.

.

好想睡覺

.

.

.