---
title: Lab Meeting Minutes 2021/09/01
tags: lab_meeting
---
> Outline
> [TOC]
---

# PERAL Lab Meeting
- 時間：110年09月01日15：00
- 地點：[Online](https://meet.google.com/mhg-upsk-nsk)
- 出席者：吳坤熹老師(Solomon)、謝萬霖(Edger)、周以恆(Henry)、吳騰然(Toby)、陳嘉瑋(Jeffery)、劉怡君(Phoebe)、劉又聖(Johnson)、洪胤勛(Branko)、莊才賢(Jerry)、丘世宇(chofinn)
- 會議主題： [RDMA]()
- 主講者: Prof Solomon
- 主記: 陳嘉瑋

## 會議內容

### 老師報告：RDMA (Remote Direct Memory Access)
#### DMA
- What does DMA stand for?
Direct Memory Access (DMA)
- Where is DMA
I/O Device與CPU之間
- Why is it beneficial
使CPU不用polling，這樣CPU就能去做其他事情

:::info
主要是把記憶體的東西寫進I/O Device. 今天很多人誤答是介於CPU和記憶體中間，那個是cache。
:::

#### UCX,RDMA,DPU
1. Moore's Law
- 每隔18個月單位面積電晶體數量會翻倍
- 但user在乎的不是電晶體數量，是計算的效能。
2. CPU - GPU - FPGA - DPU -ASIC
3. Artifical Intelligence
#### Legacy Socket Programming

Direct Memory Access
該技術應用在電腦週邊的I/O device
將 Read/Write 等工作交給電腦內部的 sub-system，讓 CPU 不必介入處理這些瑣碎的工作、而可以去做其他的事

Polling 輪詢
Context switching - overhead

Moore's Law - 每18個月單位面積的電晶體數量會成倍增長
CPU核心數量增加，然而並非越多效能就越好(受限於 CPU clock rate)

Processor:
GPU - 圖像處理器、顯卡
FPGA - 依照需求利用程式去設計、改寫現成的 IC
DPU -
ASIC - 專門另外開發的IC，成本高

AI - 讓機器像人類思考
ML - 利用演算法從經驗中學習、而不需要依照明寫的規則去做判斷
DL - 以類神經網路(multi-layered neural networks)的技術進行 ML

AlexNet

Socket programming
Three-way handshaking 為了雙向建立 connection(四合三，第二步 server 同時 ACK 跟 SYN)

Virtual memory
BSD 通常swapping 空間建議為 physical memory 的 2~3 倍

Kernel bypass - reduce buffer copy times
> pass by value - 資料量大時沒有效率
> pass by reference

header overhead

bottlenecks - 多個節點進行資料傳遞共享同一 link，樹狀結構中越上層越嚴重
broadcast storm
Spanning Tree Protocal - 避免 loop 產生
取代 STP: SDN controller - openflow's flow table 紀錄 routing rules
Adaptive Routing

InfiniBand - an open standard of 利用純 layer 2 封包(無 ip header)傳遞
Verbs model

[RDMA]
work queue
work request - 僅註冊動作、不需要 context switch 過去進行 buffer copy.

libIBverbs - RDMA-enabled transport protocols' library
使用支援 RDMA 之 API(libIBverbs):
- IB
- RoCE
- iWARP

RDMA's way of send/recv is similar to TCP socket
2-side communication (Zero copy)
1-side communication (在讀寫已授權的情況下 CPU 無知無覺):
> RDMA Write
> RDMA Read

But Verbs programming is too hard:
UCX - high level RDMA Verbs API(well defined)
降低 polling(check status) 頻率

### 建議&問題

1. [name=finn]
Ans: [name=]

2. [name=Branko]
P.17 是直接從memory存取資料嗎
Ans: [name=]
3. [name=Jerry]
如果同時有兩個人在寫同一塊memory會有衝突嗎
Ans: 要有LOCK的機制保護這種狀況發生，或是直接分配不同位置給不同人
4. [name=Jeffrey]
接續Jerry的問題，共同存取同一塊記憶體會有問題，那ＵＣＸ有提供什麼保護機制嗎
Ans: [Open Shared Memory](http://www.openshmem.org/)
5. [name=Phoebe]
Verbs programming model 還是有定期做 check status 的動作，這似乎只是將低 polling 頻率，可是 polling 本身就算是在進行 context switching，這樣有達到 no context switching?
Ans: no context switching 針對的是 work request 的過程中 CPU 不去介入讀寫工作，check status 屬於 work complete 的部分。
6. [name=Johnson]
Q1: 在虛擬機上可以做RDMA測試與開發嗎
Ans: 我沒想過這樣試。VM會有overhead，這樣效能會比較差。
單純測試的話，有人在VM上跑RDMA over Converged Ethernet ([RoCE](https://zhuanlan.zhihu.com/p/361740115)).
7. Q2: 為解決 polling 沒效率的問題，在8051我們會註冊一個 event, 當 event 發生時就去呼叫某個 function. Verbs或UCX是否有類似機制？
A: Verbs 可以註冊一個 [event](https://www.ibm.com/docs/en/aix/7.1?topic=management-ibv-req-notify-cq). UCX可以用 [Wake-up Routine](https://openucx.readthedocs.io/en/master/api.html#wake-up-routines)處理 event.
8. [name=Edgar] Queue Pair會佔據記憶體嗎？
A: 會。但不多，只有六十幾個 bytes. 你真正想問的是什麼？
9. 我想要Access一百台電腦，能夠Access也會取決於我自己的記憶體量嗎。如果我希望Access 240G（每台2.4G)，所以我需要留240G嗎，這樣不就變成Memory的瓶頸嗎
Ans:是的。不要一次處理240G，分別處理就不用那麼大了
8. [name=Edgar] rkey的內容是什麼,Address是什麼
Ans: 32bits的ID，要寫入的記憶體的位址
9. [name=Henry] OS bypass 的機制是網路卡專屬的嗎？有沒有可能我的影音裝置也有這個機制，這樣 CPU 只要事前規劃好，video stream 進來就直接 NIC 出去，不必經過OS，這樣效能也可以大幅提高。
Ans: Yes. As long as the kernel allows you to do so, this sounds to be very promising.
10. [name=Toby] 1.RDMA的Write，他的封包data在傳送時有沒有被加密
Ans:沒有，為了速度沒有加密，但有CRC，確保資料正確
11. [name=Toby] 有沒有可能被中途攔截，然後被偽造，再傳過去
Ans:有可能，在一個Subnet之下，偽造MAC Address是十分容易

## 待追蹤事項

## 臨時動議
- 108要施工，要把東西清空，要調查大家何時回來。[name=Edgar]
9/25 (六) 早上搬 中午吃Pizza 下午跑後山
---
散會結束時間：