---
tags: HPC
---
# HPC Lecture#3
[TOC]
## 什麼是 verbs
:::success
他是對一個使用 RDMA 應用程式功能的抽象描述
- 他不是一個 API
- 他有不同的實作方式
:::
:::info
### verbs 可以被區分為兩種
- Control path
> 用於管理資源，通常會需要進行環境切換 (context switch)
- Create
- Destroy
- Modify
- Query
- Work with events
- Data path
> 運用資源來收發資料，不需要進行環境切換
- Post Send
- Post Receice
- Poll CQ (complete queue)
- Request for completion event
:::

## 我幹嘛用 verbs
- verbs 是一個在 RDMA programming 裡的低階描述
- verbs 貼近 bare-metal，可提供較好的表現
- latency
- bw (bandwidth)
- message rate
- verbs 可當作許多應用程式的組件
- socket
- storage
- parallel computing

## libibverbs
- 某個 open source 的 verbs API
- 支援許多 RDMA 傳輸協定
- InfiniBand
- RoCE
- iWARP

### few tips
- 要使用得要 include 此 header
- `#include<infiniband/verbs.h>`
- 有使用 libibverbs 的可執行檔跟函式庫都要 link `-libverbs`
- input struct 需要被預設為零
- 可使用 `memset`
- 多數資源控制代碼(handle)是指標(pointer)，所以當用了錯誤的控制代碼可能會造成記憶體區段錯誤
- 當回傳的是 pointer，其值為 valid value 代表成功，NULL 代表失敗
- 當回傳的是整數，0 為成功，-1 為失敗

## Memory Region(MR)
:::success
他是一塊已註冊的虛擬連續記憶體區段
- 擁有權限(可有一或多種)
- Local operations(local read 永遠可執行所以未列出)
- IBV_ACCESS_LOCAL_WRITE
- IBV_ACCESS_MW_BIND
- Remote operations
- IBV_ACCESS_REMOTE_WRITE
- IBV_ACCESS_REMOTE_READ
- IBV_ACCESS_REMOTE_ATOMIC
- 若 remote write/atomic 可執行，local write 應該也要可以
:::

## Queue Pair(QP)
- 包括 send queue(SQ) & receive queue(RQ)
- 有三種主要傳輸型態
- Reliable Connected(RC)
- Unreliable Connected(UC)
- Unreliable Datagram(UD)
- 

## API
### 產生一個 Memory Region

struct ibv_mr *ibv_reg_mr(struct ibv_pd *pd //protection domain
    void *addr, size_t length,
    enum ibv_access_flags access);

- lkey
- the local key of this MR
- 

- rkey
- the remote key of this MR
- 

- addr
- the start address of the memory buffer that this MR registered
- length
- the size of the memory buffer that was registered
### 產生一個 QP

struct ibv_qp *ibv_create_qp(struct ibv_pd *pd,
    struct ibv_qp_init_attr *qp_init_attr);

### 刪掉一個 QP

int ibv_destory_qp(struct ibv_qp *qp);

### 修改一個 QP

int ibv_modify_qp(struct ibv_qp *qp, struct ibv_qp_attr *attr,
    enum ibv_qp_attr_mask attr_mask,
    struct ibv_qp_init_attr *init_attr);

### 查詢一個 QP

int ibv_query_qp(struct ibv_qp *qp, struct ibv_q_attr *attr,
    enum ibv_qp_attr_mask attr_mask,
    struct ibv_qp_init_attr *init_attr);


### 範例

## Scatter/Gather (S/G) element
- 每個 work request(WR) 都會有一或多個 S/G entries
- Gather
- when local data is read and sent over the wire
- Scatter
- when data is received and written locally

## Post Send Request

int ibv_post_send(struct ibv_qp *qp, struct ibv_send_wr *wr,
    struct ibv_send_wr **bad_wr);

:::info
:::

## Post Receive Request

int ibv_post_recv(struct ibv_qp *qp, struct ibv_recv_wr *wr,
    struct ibv_recv_wr **bad_wr);


## Polling for Work Completion
- polling of WC 會檢查 work request(WR) 是否結束
- WC 會有一個完成的 WR 資訊
- 每個 WC 都會有些 attributes
- 以下欄位都會是 valid (就算 WC 是有出 error 的)
- wr_id
- status
- op_num
- vendor_err
- 其他則看 QP 的 transport type, opcode & status

### Send Request(SR) ㄉ WC
- 標記 SR 已執行，記體體暫存區可以被使用
- for reliable transport QP: 代表訊息已經被成功寫進記憶體
- for unreliable transport QP: 代表訊息已從 local port 被送出去
### Receive Request(RR) ㄉ WC
- 標記傳來的訊息已經處理完，資料確定有放入記憶體，記憶體暫存區可以被使用
- 會包含關於傳來訊息的 attributes，像是 size, origin

### API

int ibv_poll_cq(struct ibv_cq *cq, int num_entries, struct ibv_wc *wc);
// 回傳負值代表有 error，回傳非負值代表 polled WC 數量

### typical WC status
<!--  -->
- IBV_WC_SUCCESS
- 成功
- IBV_WC_LOC_LEN_ERR
- 例如我送一個 8 byte 東西過去，他卻只給我 4 byte buffer
- IBV_WC_LOC_PROT_ERR
- S/G 不是指向有效的 MR
- IBV_WC_WR_FLUSH_ERR
- 當出現問題，queue 裡的 request 都會被 flush 掉，也就是在某個錯誤後面的 request 都會是此錯誤
- 當你把執行到一半的 QP 關掉，剩下的東西也會全部被 flush 掉
- IBV_WC_RETRY_EXC_ERR
- 重試太多次無法連線，可能是連線中斷等問題
- IBV_WC_RNR_RETRY_ERR
- 資料有成功傳出去，但 receiver 無回應過多次

### 範例