---
# System prepended metadata

title: Distributed Data Parallel (DDP)
tags: [PyTorch]

---

# Distributed Data Parallel (DDP)
###### tags: `PyTorch`
1. 出現`ERROR:torch.distributed.elastic.multiprocessing.api:failed`並且無法關閉screen
    * 如果使用screen開啟，可以用`screen -list`確認該PID後，`kill <PID>`。
        * https://www.baeldung.com/linux/kill-detached-screen-session
    * port占用可以用`netstat -ano -p tcp | grep <port>`確認該process PID後，`kill -9 <PID>`
2. 有效batch size
    * 使用DistributedSampler給予的batch size為各個GPU的輸入batch size，然而實際對於神經網路的batch_size要再乘以GPU數量，nprocs