Python + Pandas

Pandas 是 Python 的一個套件，用來處理 table 類的資料。
舉例來說，底下的表格示範了一個金磚國家 (brics) 的資訊

這個表格就可以使用 Pandas 來表示。

和 Numyp Array 不同之處

Numpy 的 array 也可以處理 table 類的資料，但 numpy array 有一個 限制，那就是要求資料要「同一型別」。

要求同一型別主要是為了最佳化的關係，如此一來， numpy 可以高效的處理資料。但同時也喪失了彈性。

由前面的表格可以看到，表格中包含了字串資料，浮點數資料…如果混在一起，就無法使用 Numpy array 來處理了。

因此就有 Pandas 的出現。它是架構在 Numpy 之上，提供了一個彈性的框架，可以處理 table 類的資料，又可以混用型別。

匯入 Pandas 的套件

使用底下的語法匯入 Pandas。

import pandas as pd

最常用的資料結構 DataFrame

Pandas 中最常用的資料結構是 DataFrame，它本身為一個 2 維的表格。

要如何產生 DataFrame 呢？常見的方法是使用 Python 的 dictionary 來建構 DataFrame.

#建構一個 dictionary
dict = {
 "country":["Brazil", "Russia", "India", "China", "South Africa"],
 "capital":["Brasilia", "Moscow", "New Delhi", "Beijing", "Pretoria"],
 "area":[8.516, 17.10, 3.286, 9.597, 1.221],
 "population":[200.4, 143.5, 1252, 1357, 52.98] }
 import pandas as pd
 brics = pd.DataFrame(dict)
 brics

結果會輸出 (在 Jupyter notebook 下)

注意上一張圖中，第 0 個 column 為 row 的 label，它都是 0, 1, 2 的數字，我們可以使用 index 的指令幫它加上一個 row label。

brics.index = ["BR", "RU", "IN", "CH", "SA"]
brics

結果如下所示，可以看出來，底下的面一個 row 前面，都加上了一個 index

由外部讀檔案，建立 DataFrame

另一個建立 DataFrame 的方式，其實是由外部讀檔進來。
例如底下的資料存在一個 brics.csv 的檔案中
,country,capital,area,population
BR,Brazil,Brasilia,8.516,200.4
RU,Russia,Moscow,17.10,143.5
IN,India,New Delhi,3.286,1252
CH,China,Beijing,9.597,1357
SA,South Africa,Pretoria,1.221,52.98

那可以使用 read_csv 將資料讀入。

brics = pd.read_csv("brics.csv")
brics

會得到底下的結果

可以看到，第 0 個 column 是 unnamed。我們可以加入 index_col 的參數，跟 Pandas 講第 0 個 column 代表的 row 的 label。

brics = pd.read_csv("brics.csv", index_col = 0)
brics

結果如下圖，可以看出每個 row 的 label 都指定好了。

為什麼要在意 label??

為什麼要替 row 上加入 label? 因為 Pandas 在存取資料時，可以用 index 取資料，也可以用 label 取資料 (底下會說明)。所以替每個 row 加上 label，會有助於之後程式的撰寫。

如何取得 DataFrame 中的資料

這節要談談如何由 DataFrame 中取得資料。
我們會想取得：

• 某個 column 的資料
• 某些 columns 的資料
• 某個 row 的資料
• 某些 rows 的資料
• 某個格子的資料

底下會一個一個談到如何取得資料。

在瞭解要如何取得資料前，先看看 Pandas 的資料結構。

資料結構

底下的圖取自這裏，可以看出來，Pandas 的 DataFrames 是由一群 series 所組成。

而 Series 則是 One dimensional labelled array。Series 的示意圖如下。這張圖取自這兒。可以看出來，series 是一維的資料，但每筆資料都有加上標籤 (即圖中的 index)。

取得某個 column 的資料

可以透過 label 來取得某個 column 的資料。

brics["country"]

上述程式碼取得 country 的內容。結果如下

而 brics['country'] 是一個 Series 型別，代表一個 1 維的 array。

我們可以透過底下的程式碼觀察 brics['country'] 的型別。

type(brics['country'])

結果如下

那如果要取得多個 column 的資料呢？那就不能依靠 series 這個資料結構了。因為 series 一次就代表一個一維的資料串列。
多個 column 的資料，就要靠 DataFrame 了。

取得多個 columns

底下的程式碼可以取得 country 以及 capital 兩個 column 的內內容。

brics[['country', 'capital']]

結果如下：

這個結果可視為原本 table 的一個 子table。
所以 brics[['country', 'capital']] 其實也是個 DataFrame。

要注意，中括號中還有一個中括號！

另一個要注意的是，Pandas 用中括號時，是取得 column 的資料，但我們一般在存取 2 維陣列時，若給中括號，取的是 row 的資料。這點 Pandas 和我們的習慣不一樣，要注意。

取得一個 rows 的資料

使用 slice 的語法即可，例如想取得索引值為 1 的 row

brics[1:2]

取得多個 rows 的資料

我們可以用 slice 的語法取得某些 rows 的資料。

brics[1:3]

會將索引值 1~2 的 rows 取出來，成為一個 DataFrame。

使用 loc 以及 iloc 取得 DataFrame 中的資料

loc 以及 iloc 是 Pandas 中常用來取資料的函式，這兩個的區別如下：

• loc:label-based 的取資料的方式。要取資料時，要給定 label 來取資料。
• iloc: index-based 的取資料的方式。要取資料時，給定索引值來取資料。

使用 loc 來取得資料

取得 row 的資料

取得某一個 row 的資料，可以使用底下的語法

#取得 BR 這個 row 的資料
brics.loc['BR']

結果如下圖所示

可以看出，要取得資料時，要指定一個標籤 (label)，這就是為什麼 loc 為 label-based 的取資料的方式。

上面取得的資料是一個 series。如果要取得 DataFrame，那就要使用兩個 []。

#注意有兩個 []
brics.loc[['BR']]

結果如下。

可以看出來，DataFrame 的方式比較友善，取得一個 row，就是用橫的方式展示，不像是取得 series 的方式，是以直行的方式來展示。

我們也可以取得多個 rows 的資料。例如想取得 'BR', 'RU', 以及 'CH' 三列的資料，可以用如下的語法。

brics.loc[['BR', 'RU', 'CH']]

結果如下所示

取得 row 以及 column 的資料

只要指定 row 以及 column，即可得到特定 row 及 column 的資料。

brics.loc[['BR', 'RU', 'CH'], ['area', 'country']]

結果如下所示

那如果想取得特定的 column 呢？把 row 的部分用 : 取代即可。

brics.loc[:, ['area', 'country']]

結果如下

使用 iloc 取得資料

iloc 是使用 index 來取得資料的方式，和其他程式語言存取陣列資料的方式十分相似。

iloc 和 loc 很像，只是把 label 換成對應的 index 即可。

底下的表格展示了每個 column 以及 row 的索引。唯一要注意的是，索引是由 0 開始囉。

取得 row 的資料

#注意有兩個 []
brics.loc[['BR']]
#對應的 iloc 寫法
brics.iloc[[0]]

取得多個 row 的資料

# loc 的語法
brics.loc[['BR', 'RU', 'CH']]
# iloc 的語報
brics.loc[[0, 1, 3]]

取得 row 及 column 的資料

# loc 的語法
brics.loc[['BR', 'RU', 'CH'], ['area', 'country']]
# iloc 的語法
brics.loc[[0, 1, 3], [2, 0]]

取得特定 column 的資料

同樣使用 slice 來處理

#loc 語法
brics.loc[:, ['area', 'country']]
#iloc 語法
brics.loc[:, [2, 0]]

整理

使用 [] 來取得資料

用 [] 只能用來取 column 的資料。
[] 預設是取得 column 的資料
如果想取得 row 的資料，只能用 slice 的方式來取得。

loc 以及 iloc 取得資料

(i)loc 取得資料的方式比較彈性，可以取得 row，column，或是 row+column 的方式取得資料。

(i)loc 預設是取得 row 的資料。

(i)loc 比起 [] 的另一個優勢是，它的語義是接近傳統存取二維陣列的取法。也就是 row 的存取優先，然後再指定 column。

取得 Series 或是 DataFrame

無論是 [], loc 或是 iloc 的方式，取得 DataFrame 都需要使用兩個 []。

參考資料

• BookData
• Pandas Cheat Sheet: Data Science and Data Wrangling in Python
• Python Pandas Tutorial 2: Dataframe Basics。這是個 Youtube 頻道，有數位人訂閱
• DataCamp Pandas 的課程