###### tags: `HPCAI`

# RDMA Transport & introduction to Software interface
[TOC]

## RDMA 基本概念
- 最主要的想法
- 略過中間人 ( Kernel )
- 為甚麼發展 RDMA
- 還是有 Kernel 的 overhead
- 左邊的 U-net 還是必須經過 kernel mode
- Socket buffer
- TCP stack
- 組裝 header
- 右邊的 RDMA 直接 "by pass" "zero copy" 過 Kernel mode
- 基本原則
- RDMA 直接傳送流量到 NIC ( 網路卡 ) 上，不會 interrupting CPU
- 遠端使用的 MR 會先被遠端的 NIC 註冊
- NIC 會記住 VA -> PA 的 page mapping ( 記憶體 )
- 當遠端的 NIC 接到 request ，就會透過 DMA 得到資訊，並回傳資料給發出 request 的機器
- 兩邊因為都透過 RDMA 消除掉了 kernel 的影響 ( Kerenl bypass )

## RDMA standards
- IB
- 在超級電腦的世界中使用越來越多
- 昂貴的設備，需要支援 IB 的網卡、 switch ...
- 200Gb/s standard
- RDMA over Converged Ethernet ( RoCE )
- 比較便宜，但仍需要專用網卡
- 200 Gb/s ( and 60Gb/s )
- RoCE 要擴張規模看起來效果比較不好
- iWARP
- RDMA over TCP
- 最糟糕的效能

## Data Transfer Modal - Work Queues
:::info
當我們沒有 socket 、 tcp/ip 該怎麼讓所有 node 都獲得資料 ?

<br>

先從剛剛的 socket 來講好了，我們會先創建 socket( `socket()` ) 、 寫入資料到 socket 。
socket 的 read 和 write 是 blocked 的。
:::
- Work Request ( WR )
- non-blocked request
- hardware 實作出來的
- 因為不想要在 kernel 有一些複製的操作
- Work Completetion ( WC )
- 當 WR 被完成時，產生一個 WC
- 包括很多資訊
- type
- opcode
- data 傳輸、接收量
- more...
- Work Queue ( WQ )
- 一個 queue 包括 WRs
- SQ 跟 RQ 都是 WQ
- 先後順序由 hardware 去做編排
- 不同 WQ 裡面執行的順序**不一定**和 WR 請求的順序相同
- 同一個 WQ 裡面執行的順序**會**和 WR 請求的順序相同
- 可以是 send Queue 或 receive Queue
- send Queue + receive Queue => queue pair ( QP )
- 增加 WR 到 WQ 這個動作被稱作 "posting a WR"
- post 這個動作指的不只是傳送資料 ( Send ) ，也可以是接收資料 ( Recv )，重點是都是增加 WR 到 WQ。
- 當我的 WR 被 post 時，他就被認為是 "outstanding" ， 直到出現 WC
- outstanding 的特性
- One can not know if it was scheduled by the HW or not
- send buffer 在 outstanding 時是唯讀的
- receive buffer 在 outstanding 時， buffer 內的資料有可能是無意義的
- Send Queue ( SQ )
- 專門處理**發送 ( sending )** RDMA message 的 queue
- 每一個 SQ 裡面的 entry 都被稱作 Send Request ( SR ) ，定義了以下幾種資訊
- data 怎麼用
- memory buffer 怎麼用
- send
- receive
用哪個 buffer 主要由當初 send Request ( SR ) 的 opcode 決定
- 我要送多少資料過去? ( 100 bytes? 200 bytes? )
- more...
- 在 SQ 裡面加入一個 SR 稱作 "posting a send request"
- SR 可能會在 work completion ( WC ) 時結束
- Receive Queue ( RQ )
- 專門處理**接收 ( income )** RDMA message 的 queue
- 每一個 RQ 裡面的 entry 都被稱作 Receive Request ( RR ) ，定義了以下幾種資訊
- 怎麼用 memory buffer ?
- 跟剛剛 SQ 一樣，都是取決於 opcode
- 在 RQ 裡面加入一個 RR 稱作 "posting a send request"
- SR 一定會在 work completion ( WC ) 時結束
- Queue Pair ( QP )
- 一個 object 包含 Send Queue 和 Receive Queue
- 每一個 Queue 都是獨立的
- 每一個 QP 都包含著 Partition Key ( P_Key )
> not discussed


## data transfer Modal - the parties
- **Requester**
- **主動發起 ( initiates )** WR 的一方，不代表他一定是要資料的模式 ( WRITE/SEND )， 取決於 opcode
- Post Send Request

- **Responder**
- **被動接受** WR 的一方，不代表他一定是傳輸資料的模式 ( READ/RECV )， 取決於 opcode
- May Post Receive Request ( RR )
- 發出 ACK / NACK 來維持可靠的連線