資料流

資料流

簡介

在大數據的時代，資料的大小動輒是GB或是TB等級，這樣的資料不可能一次性的被儲存到記憶體之上並提供給機器學習模型進行訓練。這種時候我們需要做事情就是讓資料從硬碟上直接送到GPU本身進行訓練，這樣就能避免記憶體大小對我們的資料造成的限制。在利用TensorFlow以及PyTorch建立張量章節中，我們簡單示範了如何利用生成器（generator）物件實作資料流。在本章節中，我們將示範如何建立一個基於torch.utils.data.Dataset物件的資料流。有人可能會問「都有基於生成器的作法了，為何還需要基於前述物件的實作呢？」，原因如下：

當取用資料時，擁有更安全的多進程（Multiprocessing）及多線程（Multi-threading）過程

在利用生成器的實作範例中，生成器只是根據既有的規則以及設定，不斷的從硬碟終將資料送模型。若要實作打散資料或是在每個訓練週期中對資料進行重新排列，使用者往往會需要付出更大的心力進行編寫。同時，因為其資料流已經規則已經在建構初期救定下來，若非使用者在一開始就實作了多線程/多進程，將無法在訓練過程中透過其他方式改善資料流的效率。
更靈活的資料操作

一個繼承或torch.utils.data.Dataset物件的資料流實作，將可以繼承這兩個物件本身已經預先設計好的功能（例如：on_epoch_end等功能），使用者無須再花時間及精力來實作一些進階功能。

PyTorch實作

在PyTorch中的實作，基本上與在TensorFlow無異。然而在PyTorch中，特別將實作分成了兩種類別，分別為：Map-style datasets以及Iterable-style datasets。其中，Map-style datasets的實作與TensorFLow的實作沒有太多差異，唯一差異在PyTorch的版本不需要實作batch_size的取用，這部份會由torch.utils.data.DataLoader來完成。以下是在PyTorch中，Map-style datasets以及Iterable-style datasets的差異。

說明及實作範例

Map-style datasets

一個Map-style datasets指的是實作了__getitem__() 以及__len__()方法的資料集。此物件以及資料流的實作需要繼承torch.utils.data.Dataset類別。範例如下：
























import torch
import glob 
import cv2
import torch.nn.functional as F

class img_pipeline(torch.utils.data.Dataset):
    def __init__(self, path, mode, transform=None):
        self.path = path
        self.mode = mode
        self.img_list = sorted(glob.glob(self.path+f"{mode}/"+"*.jpg"))
        self.label_list = sorted(glob.glob(self.path+f"{mode}/"+"*.txt"))
        self.transform = transform
    def __len__(self):
        return len(self.img_list)
    def __getitem__(self, index):
        if self.transform is not None:
            _img = cv2.imread(self.img_list[index])
            _img = self.transform(_img)
        else:
            _img = cv2.imread(self.img_list[index])
        with open( self.label_list[index], 'r')as f:
            _label = torch.tensor(int(f.readlines()[0]))

        return _img, F.one_hot(_label, num_classes=800)

Iterable-style datasets

一個Iterable-style datasets指的是實作了__iter__()方法的資料集。此物件以及資料流的實作需要繼承torch.utils.data.IterableDataset類別。此物件的特點是提供了一個可迭代（Iterable） 的資料集操作。資料的取用方式不是透過[]以及相對索引的搭配來取用，而是透過對一個可迭代對象^[1]的迭代取值來實現。此方式在處理串流媒體資料時非常有用。






































class img_pipeline_itertype(torch.utils.data.IterableDataset):
    def __init__(self, path, mode, start, end, transform=None):
        self.path = path
        self.mode = mode
        self.img_list = glob.glob(self.path+f"{mode}/"+"*.jpg")[:10]
        self.label_list = sorted(glob.glob(self.path+f"{mode}/"+"*.txt"))[:10]
        self.transform = transform
        assert end > start, "End should be larger than start"
        self.start = start
        self.end = end
    def __iter__(self):
        worker_info = torch.utils.data.get_worker_info()
        if worker_info is None:
            iter_start = self.start
            iter_end = self.end
        else:
            per_worker = int(math.ceil((self.end - self.start) / float(worker_info.num_workers)))
            worker_id = worker_info.id
            iter_start = self.start + worker_id * per_worker
            iter_end = min(iter_start + per_worker, self.end)
            
        img = []
        label = []
        if self.transform is not None:
            for idx in range(iter_start, iter_end):
                _img = cv2.imread(self.img_list[idx])
                _img = self.transform(_img)
                img.append(_img)
        else: 
            for idx in range(iter_start, iter_end):
                _img = cv2.imread(self.img_list[idx])
                img.append(_img)
        for idx in range(iter_start, iter_end):
            with open( self.label_list[idx], 'r')as f:
                _label = torch.tensor(int(f.readlines()[0]))
                label.append(F.one_hot(_label, num_classes=800))
        _data = [[a, b] for a, b in zip(img, label)]
        return iter(_data)

包裝成`torch.utils.data.DataLoader`物件

在PyTorch中，不像TensorFlow中可以直接將繼承了tf.keras.utils.Sequence的物件送進.fit()函數進行訓練。在PyTorch中，需要先將物件包含成torch.utils.data.DataLoader物件，再將變數送進模型進行訓練。這樣做的必要性在：（一）torch.utils.data.DataLoader的包裝同時包含了對batch_size的定義，sampler的宣告以及多線程的實現。sampler是隨機打散資料集所需要的函數，而在包裝時宣告的num_works以及其他變數將讓資料的取用可以藉由多線程來進行。作法很簡單，只要如下方範例執行即可（以Map-style datasets中的物件為範例）^[2]：




train_dataset = torch.utils.data.DataLoader(
                img_pipeline(PATH, 'train', transform=my_transform), 
                batch_size= 2, 
                num_workers=10)

結論

除去在PyTorch中個Iterable-style datasets，在TensorFlow與PyTorch之中對資料流的實作基本上差不多，讀者可以在符合自身需求下進行實作。

tags: `Machine Learning` `Notebook` `技術隨筆` `機器學習` `Python` `PyTorch`

可迭代對象就是有實作__iter__()方法的變數，諸如List以及numpy.ndrray都屬於此類別。 ↩︎
詳細參數可在官方說明書中查看。 ↩︎

資料流

簡介

PyTorch實作

說明及實作範例

包裝成torch.utils.data.DataLoader物件

結論

tags: Machine Learning Notebook 技術隨筆 機器學習 Python PyTorch

Read more

技術隨筆

機器學習

基於容器的MLflow和模型版本控制

MLOps

包裝成`torch.utils.data.DataLoader`物件

tags: `Machine Learning` `Notebook` `技術隨筆` `機器學習` `Python` `PyTorch`