###### tags: `選修` # python數據分析入門 + [部份範例來源:成為python數據分析達人的第一課(自學課程)](http://moocs.nccu.edu.tw/course/123/intro) ## 一、資料收集 1. ### 資料收集管道 - 自行收集 * 客戶資料 * 問卷調查 * 自行架設感測器 - 開放資料集 * [政府資料開放平台](https://data.gov.tw) * [臺北市資料大平臺](https://data.taipei/) * [臺南市政府資料開放平台](http://data.tainan.gov.tw) * [Kaggle](https://www.kaggle.com/datasets) - 商業公司API * [Facebook Graph API](https://developers.facebook.com/docs/graph-api/using-graph-api) * [YouTube Data API](https://developers.google.com/youtube/v3/getting-started) * [Twitter Developers](https://developer.twitter.com/en/docs) * [Flickr API](https://www.flickr.com/services/developer/api) - 網頁爬蟲 - 付費 2. ### 資料開放平台 - 網路連線 ``` javascript= import requests url = 'http://cs.cysh.cy.edu.tw' resp = requests.get(url) print(resp.text) ``` - 開放平台API串接 ``` javascript= import requests # 抓取寵物登記站名冊:臺北市資料大平臺/資料目錄/主題分類瀏覽/農業/寵物登記站名冊/API url = 'https://data.taipei/opendata/datalist/apiAccess?scope=resourceAquire&rid=e0241f72-7db0-4d04-91a3-571d1af69f6b' resp = requests.get(url) data = resp.json() # 以json()方法解析 print(data) vhos_list =data['result']['results'] for item in vhos_list: # hospital為字典型態 if item['地址'][:3] == '大安區': print(f"{item['寵物登記機構名稱']}\n{item['電話']}") ``` :::info EX_01:至[行政院環境保護署。環境資源資料開放平臺](https://opendata.epa.gov.tw/),抓取嘉義PM2.5的資料。 ::: ``` javascript= import requests url = 'https://opendata.epa.gov.tw/api/v1/ATM00625?%24skip=0&%24top=1000&%24format=json' ........ # 若來源資料為 https 則加上 verify=False 參數 ........ # 以json()方法解析 print(data) ........ # 對data中的每一個字典 if ........ == '嘉義': # 如果字典中Site等於嘉義 print(item) ``` 3. ### 網路爬蟲 Web Crawler - [文組也看得懂的 - 網路爬蟲](https://www.youtube.com/watch?v=BdRjutf8K0c) - HTML 格式使用 BeautifulSoup 來解析 - [Python爬虫利器二之Beautiful Soup的用法](https://cuiqingcai.com/1319.html) - [爬蟲使用模組介紹-Beautiful Soup 1](https://ithelp.ithome.com.tw/articles/10206419)、[爬蟲使用模組介紹-Beautiful Soup 2](https://ithelp.ithome.com.tw/articles/10206668) - [网页爬虫教程系列 | 莫烦Python](https://morvanzhou.github.io/tutorials/data-manipulation/scraping/) - [Python 爬虫学习系列教程](http://wiki.jikexueyuan.com/project/python-crawler-guide/) - [Python 爬蟲實戰](https://www.slideshare.net/tw_dsconf/python-83977397) ``` javascript= import requests from bs4 import BeautifulSoup url = 'http://cs.cysh.cy.edu.tw' resp = requests.get(url) # print(resp.text) soup = BeautifulSoup(resp.text, 'lxml') # print(soup.h1) a_tags = soup.find_all('a') # 所有a標籤組成的list for item in a_tags: print(item.string) # 輸出超連結的文字 ul_tags = soup.find('ul',{'class':'alt'}) # ul標籤,class為alt ul_a_tags = ul_tags.find_all('a') for item in ul_a_tags: print(item.get('href')) ``` :::info EX_02:至[《美麗佳人》/Love & Sex/星座運勢](https://www.marieclaire.com.tw/love-sex/astrology),抓取星星教授安格斯的每週星座運勢。 ::: ``` javascript= import requests from bs4 import BeautifulSoup url = "https://www.marieclaire.com.tw/love-sex/astrology" ........ # 取得網頁內容 ........ # 以 BeautifulSoup 分析 hot = soup.find_all('div', {'class':'hot'}) # 文章在<div class="hot">區塊 # print(hot) articles = hot[0].find_all('a') # print(articles) item = articles[0] # print(item) # print(item.attrs) # a的參數 # print(item['href']) # print(item['href'].split('/')) # 分解超連結 weekly_url = item['href'] article_num = item['href'].split('/')[5] for item in articles: if '星星教授安格斯' in item['title'] and item['href'].split('/')[5] > article_num : # 抓超連結最後數字最大者 weekly_url = item['href'] article_num = item['href'].split('/')[5] weekly_resp = requests.get(weekly_url) weekly_soup = BeautifulSoup(weekly_resp.text, 'lxml') article = weekly_soup.find_all('div', {'class':'........'})[0] # 找找看本週星座運勢在那一個區塊 fortune = {} for item in article.find_all('h2'): sign = item.string[:2] # 星座 luck = item.next_sibling.string # h2標籤後一個p fortune[sign] = luck # 組成字典 # print(fortune['牡羊']) from ipywidgets import interact_manual # 互動選單 interact_manual(lambda 星座: fortune[星座], 星座=['魔羯','射手','天蠍','天秤','處女','獅子','巨蟹','雙子','金牛','牡羊','雙魚','水瓶']); ``` 4. ### 正規表達式(Regular expression) - [用 Regular Expression 做字串比對](https://larry850806.github.io/2016/06/23/regex/) - [JavaScript RegExp 对象](http://www.w3school.com.cn/js/jsref_obj_regexp.asp) - [Python正则表达式指南](https://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html) - [Online regex tester and debugger](https://regex101.com/) - [正则表达式 - Python 基础 | 莫烦Python](https://morvanzhou.github.io/tutorials/python-basic/basic/13-10-regular-expression/) ``` javascript= str = 'dog run' print('dog' in str) print('cat' in str) import re print(re.search('dog', str)) print(re.search('cat', str)) # []匹配多種可能 ptn = r'r[ua]n' # 字串前的 r 表示這是正規表達式,run或ran print(re.search(ptn, str)) print(re.search(r'r[A-Z]n', str)) print(re.search(r'r[a-z]n', str)) print(re.search(r'd[0-9a-z]g', 'd0g run')) # d、g間為數字或英文 print(re.search(r'd\dg', 'd0g run')) # \d 表示任何数字 ``` ``` javascript= import requests from bs4 import BeautifulSoup import re url = 'https://pixabay.com/' resp = requests.get(url, headers={'User-Agent':'Mozilla/5.0'}) # 讓網站以為是人操作瀏覽器上網 soup = BeautifulSoup(resp.text, 'lxml') img_links = soup.find_all('img', {'src': re.compile('.+\.jpg')}) # 以正規表達式,選取副檔名為jpg的圖片連結 for link in img_links: print(link.get('src')) ``` <br /> ## 二、NumPy + 做數據分析時常把list轉成array,NumPy的ndarray(N-Dimentional Array)是一個快速、節省空間的多維度陣列,可提供向量運算及複雜的功能。 + NumPy的ndarray中的所有元素的資料型態必須相同,每個陣列都有一個shape(各維度大小的元組)和dtype(元素資料類型) - 轉換的優先順序為:字串 > 數字 > 布林。 + 參考網站 - [numpy 用法 (1)](http://violin-tao.blogspot.com/2017/05/numpy-1.html) - [numpy 用法 (2)](http://violin-tao.blogspot.com/2017/06/numpy-2.html) - [Data Science — Numpy Basic !](https://medium.com/pyladies-taiwan/data-science-numpy-basic-d3a6ca6c715c) - [Python玩數據 (2):Numpy [1/2]](https://www.ycc.idv.tw/python-play-with-data_2.html) - [Python玩數據 (3):Numpy [2/2]](https://www.ycc.idv.tw/python-play-with-data_3.html) - [NumPy User Guide](https://docs.scipy.org/doc/numpy/user/index.html) - [NumPy API Reference](https://docs.scipy.org/doc/numpy/reference/) - [The N-dimensional array (ndarray) API Reference](https://docs.scipy.org/doc/numpy/reference/arrays.ndarray.html) 1. ### 直接建立陣列 ``` javascript= import numpy as np a = np.array([1,2,3]) # 一維陣列 a a.ndim # 幾維陣列 a.shape # 陣列形狀 a.size # 陣列元素個數 a.dtype # 陣列的資料型態 a_f = a.astype(np.float64) # 轉換成浮點數型態 a_f.dtype b = np.array(['1','2.2','3.33']) b_f = b.astype(float) # 字串陣列若全都是數字,可用astype將其轉換為數值 b_f b_f.dtype c = np.array([[1,2,3], [4,5,6]]) # 二維陣列 c c.ndim c.shape c.size ``` 2. ### [Numpy的數學(統計)運算](https://docs.scipy.org/doc/numpy/reference/routines.math.html) - [[python] numpy axis概念整理筆記](http://changtw-blog.logdown.com/posts/895468-python-numpy-axis-concept-organize-notes) ``` javascript= a = np.array([3,4,5,1,2]) np.sort(a) # 排序 a.sum() # 加總,同 np.sum(a) a.mean() # 平均 a.max() # 最大值 a.min() # 最小值 a.std() # 標準差 np.mod(5,2) # 求餘數 np.sin(np.pi/2) # 求sin np.log(100) a = np.array([[1,2,3], [4,5,6]]) a.sum() # 21,axis=None或defalut,對矩陣內所有元素作運算。同 np.sum(a) a.sum(axis=0) # [1+4, 2+5, 3+6]。同 np.sum(a, axis=0) a.sum(axis=1) # [1+2+3, 4+5+6]。同 np.sum(a, axis=1) ``` 3. ### 陣列快速生成法 - np.linspace(start, stop, size, endpoint) * 在stat~stop範圍,產生均勻間隔、指定數量的元素。endpoint=False 不包含stop。 - np.arange(start, stop, step) * 在start~stop範圍,根據間隔大小(step)生成元素 * 類似python range,回傳型態為ndarray (range回傳型態為list) - np.random.randint(low, high, size) * 在low~high(不包含)內,隨機產生指定數量的元素 ``` javascript= import numpy as np np.zeros(3) # 建立皆為0的1X3陣列 np.zeros((3,5)) # 建立皆為0的3X5陣列 np.zeros((3,5), dtype=np.int) np.ones(3) # 建立皆為1的1X3陣列 np.full((3,5), 7) # 建立皆為7的3X5陣列 np.eye(3) # 建立3x3的單位矩陣(identity matrix) np.diag([1,2,3]) # 建立3X3陣列,對角為1,2,3 np.random.randint(0, 10, 9) # 建立1維陣列,9個0~9之間的亂數 np.random.randint(0, 10, (3,3)) # 建立3X3陣列,內容為0~9之間的亂數 np.random.normal(0, 1, (3,3)) # 建立3X3的常態分佈矩陣,平均值為0,標準差為1 np.arange(3) # 建立 [0 1 2] np.arange(10, 20, 2) # 建立 [10, 12, 14, 16, 18] np.linspace(0, 10, 6) # 0~10平均取6個點 xy = [[x, y] for x in range(5) for y in range(3)] np.array(xy) ``` 4. ### 陣列重塑形狀 - np.reshape((new_row, new_column)) * 將陣列轉換成新列數、新行數 - np.flatten()、np.ravel() * 將多維陣列降為一維。 * flatten()返回一份拷貝,對拷貝所做的修改不會影響原始陣列。 * ravel()返回的是檢視(view,類似C/C++的reference),如果改變了,會影響原始陣列。 ``` javascript= import numpy as np a = np.array([1,2,3,4,5,6,7,8]) a a.shape a = a.reshape(2,4) # 同 a.shape = (2,4) a a.shape b = a.flatten() # 將矩陣重組為一維陣列 b b.shape a.shape = (2,4) c = a.reshape(1,8) # 還是2維陣列 c c.shape ``` 5. ### 資料存取 - 同list,可使用index(從0開始算)、slice、iterate 來存取陣列裡的資料。 ``` javascript= import numpy as np a = np.array([1,2,3,4,5]) a[2] # 取index 2 的元素 a[2:5] # 取index 2~4 的元素 a[:5:2] # 取index 0、2、4 的元素 a[::-1] # 後往前取 a[1:3] = 7 # 將index 1~3 的元素改為 7 b = np.array([[1,2,3], [4,5,6], [7,8,9]]) b[0, 1] # 選取第0列,第1欄的元素 b[0][1] # 同上 b[1, :] # 選取第1列的全部元素 b[1] # 同上 b[1:3] # 選取1~2列多列元素 b[:, 2] # 選取全部列的第2欄(index 2)的元素 x = np.arange(9).reshape((3,3)) # 產生[0,1,2,3,4,5,6,7,8],並轉為3X3陣列 np.diag(x) # 取對角線元素 a = np.arange(10) b = np.arange(5) a[5:] = b[::-1] # a為[0,1,2,3,4,4,3,2,1,0] ``` - 以判斷式來進行篩選 ``` javascript= import numpy as np math = np.array([60,70,55,80,90]) math >= 60 # 每個元素是否 >=60 math[math >= 60] # >=60 的元素 np.count_nonzero(math >= 60) # 計算 >=60 的有多少位 np.sum(math >= 60) # 計算 >=60 的有多少位,True == 1, False == 0 np.where(math >= 60)[0] # 成績 >=60 的index np.any(math >= 60) # 是否有一人成績 >=60 np.all(math >= 60) # 是否全班都及格 ``` 6. ### 矩陣element-wise運算(每個相對應元素做運算) ``` javascript= import numpy as np us = [100,500,400] us * 3 us_arr = np.array(us) rate = 30.8 us_arr * rate grades = np.array([80, 60, 70]) weights = np.array([0.3, 0.3, 0.4]) g = grades * weights a = np.array([[1,2], [3,4]]) b = np.array([[5,6], [7,8]]) a+b # element-wise plus c = np.array([1, 2, 3]) c**2 ``` 7. ### 矩陣操作(matrix operation) ``` javascript= import numpy as np a = np.array([1,2,3,4,5,6,7,8,9]) np.cumsum(a) # a 中元素的累計和(cumulative sum) np.diff(a) # 兩兩元素差 np.clip(a,3,8) # 將元素限製在3~8間,大於8改為8,小於3改為3 a = np.array([[1,2], [3,4]]) b = np.array([[5,6], [7,8]]) np.dot(a, b) # 矩陣相乘,同 a.dob(b) a.T # 轉置矩陣,同 np.transpose(a) a_rev = np.linalg.inv(a) # 反矩陣 np.dot(a, a_rev) np.vstack((a, b)) # 垂直方向合併 np.hstack((a, b)) # 水平方向合併 a = np.array([1,2,3]) b = np.array([4,5,6]) z = np.c_[a, b] # numpy中的zip。np.c_是列向相加,列向量在axis = 1接起來 # array([[1, 4], # [2, 5], # [3, 6]]) np.r_[a, b] # np.r_是行向相加,列向量在axis = 0接起來 a = z[:,0] # unzip b = z[:,1] a = np.arange(9) np.split(a, 3) # 分割成3段 a = np.arange(8) np.array_split(a, 3) # split必須可以均分,否則會錯誤。array_split不會 ``` 8. ### 資料擴充與重複 ``` javascript= import numpy as np np.append([0,0], [1,1,1]) # append(原陣列, 要附加的元素) [0, 0, 1, 1, 1] np.insert([0,0], 1, [1,1,1]) # insert(原陣列, 要插入的位置, 要插入的元素) [0, 1, 1, 1, 0] a = np.array([0,1]) np.tile(a, 3) # tile()對整個數組進行複製。把[0,1]看成一組,重複3遍 [0, 1, 0, 1, 0, 1] np.tile(a, (2,3)) # 將[0, 1]變成2x3陣列 np.repeat(a, 2) # 每個元素重複2次 a = np.array([[1,2], [3,4]]) np.repeat(a, 2) np.repeat(a, 2, axis=0) # axis指定要往哪個方向的維度擴展 np.repeat(a, 2, axis=1) ``` 9. ### 陣列拷貝與刪除 - slice出來的新陣列,與原本的陣列共用同一塊記憶體,copy()出來的新陣列不會。 ``` javascript= import numpy as np a = np.arange(5) b = a[::2] np.may_share_memory(a, b) a[0] = -1 # 新陣列b與原陣列a用同一個記憶體空間,當a改變時,b會跟著改變 a b a = np.arange(5) c = a[::2].copy() # copy出來的新陣列c,不與原陣列a用同一個記憶體空間 np.may_share_memory(a, c) a[0] = -1 a c a = np.arange(10) index = [1, 3, 5] np.delete(a, index) # 刪除索引值的元素 a = np.array([[1,2,3], [4,5,6], [7,8,9]]) np.delete(a, 1, axis=0) # delete(原陣列, 要刪除的索引值, 維度方向) np.delete(a, 1, axis=1) ``` <br /> ## 三、資料視覺化 + 參考網站 - [[資料分析&機器學習] 第2.5講:資料視覺化(Matplotlib, Seaborn, Plotly)](https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC2-5%E8%AC%9B-%E8%B3%87%E6%96%99%E8%A6%96%E8%A6%BA%E5%8C%96-matplotlib-seaborn-plotly-75cd353d6d3f) 1. ### Matplotlib - 線圖(Line plot) ``` javascript= import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 9, 4, 8, 3] plt.plot(x, y) plt.xlabel('x label') # 加上座標軸的label plt.ylabel('y label') ``` ``` javascript= import numpy as np import matplotlib.pyplot as plt plt.plot(np.random.randn(100)) # randn(100) 產生100個常態分布的亂數(平均值0,標準差1) ``` ``` javascript= import numpy as np import matplotlib.pyplot as plt x = np.linspace(0, 10, 100) # 0~10間,產生100個點 plt.plot(x, np.sin(x)) plt.plot(x, np.cos(x),'bo') # blue,circle marker ``` - 散佈圖(Scatter plot) ``` javascript= import matplotlib.pyplot as plt x = [2, 1, 3, 4, 5] y = [9, 2, 4, 8, 3] plt.scatter(x, y) ``` - 長條圖(Bar plot) ``` javascript= import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 9, 4, 8, 3] plt.bar(x, y) ``` - 直方圖(Histogram) ``` javascript= import numpy as np import matplotlib.pyplot as plt normal_samples = np.random.normal(size = 1000) # 生成 1000 組標準常態分配隨機數(平均值0,標準差1 的常態分配) plt.hist(normal_samples,bins = 100) # bins 為直方圖直條個數 ``` <br /> ## 四、Pandas數據分析 + Python的Excel,pandas 可以擷取 JSON, CSV, Excel, HTML 等格式的資料,主要資料型態有Series(一維)、DataFrame(二維、類似表格)。 + 基於Numpy構建,包含許多操作資料與統計的函式,讓以NumPy為中心的應用變的更加簡單。 + 參考網站 - [Python pandas Q&A video series](https://github.com/justmarkham/pandas-videos) - [Python資料分析(四)Pandas](https://medium.com/@allaboutdataanalysis/python%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E5%9B%9B-pandas-e2fdeb6808c1?postPublishedType=repub&fbclid=IwAR2RmaITrI5mBFAYQ4pZFZ3TLUbwUTIXs2XV3X4_TmBbs-v-O52prqXHRRk) - [[Python] Pandas 基礎教學](https://oranwind.org/python-pandas-ji-chu-jiao-xue/) - [Python Pandas 基本操作教學_成績表](https://medium.com/@weilihmen/python-pandas-%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%E6%95%99%E5%AD%B8-%E6%88%90%E7%B8%BE%E8%A1%A8-f6d0ec4f89) - [[資料分析&機器學習] 第2.3講:Pandas 基本function介紹(Series, DataFrame, Selection, Grouping)](https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC2-3%E8%AC%9B-pandas-%E5%9F%BA%E6%9C%ACfunction%E4%BB%8B%E7%B4%B9-series-dataframe-selection-grouping-447a3fa90b60) - [莫煩Python](https://morvanzhou.github.io/) - [pandas 用法 (1)](http://violin-tao.blogspot.com/2017/06/pandas-1-indexing.html)、[pandas 用法 (2)](http://violin-tao.blogspot.com/2017/06/pandas-2-concat-merge.html) - [pandas 官方手冊](https://pandas.pydata.org/pandas-docs/stable/index.html) 1. ### pandas 讀取資料 - 讀取 CSV 檔案 - 讀取 Html 檔案 ``` javascript df = pd.read_html('http://rate.bot.com.tw/xrt?Lang=zh-TW') df[0] ``` 2. ### DataFrame - 建立 DataFrame:可以透過 Dictionary、Array 來建立,也可以讀取外部資料(CSV、資料庫等)來建立。 - DataFrame 基本資訊 | 基本資訊方法 | 說明 | |:--------------|:-------------| | df.info() | 表格的資訊 | | df.shape | 表格列數與欄數 | | df.columns | 回傳欄位名稱 | | df.index | 回傳 index | | df.head(n) | 回傳前n筆資料,省略預設為5筆 | | df.tail(n) | 回傳後n筆資料,省略預設為5筆 | | df.describe() | 回傳各類統計資料 | - [資料選取](https://codertw.com/%E7%A8%8B%E5%BC%8F%E8%AA%9E%E8%A8%80/462517/) | 選取方法 | 說明 | | -------------| --------- | | df['欄位名'] | 選取欄的元素| | df.欄位名 | 選取欄的元素| | df.loc() | 根據行、列標籤來選取 | | df.iloc() | 根據索引值來選取| | df.ix() | 以行、列的標題或位置來選取,loc和iloc的綜合體| - 資料篩選:在中括號裡面放入篩選條件 - 資料排序 | 排序方法 | 說明 | | ------------ | --------- | | df.sort_index() | 依索引值排序,axis指定是列索引值或行索引值排序 | | df.sort_values()| 依欄位值排序,by指定排序欄位,ascending指定升冪或降冪排序| :mega: [pandas中axis參數](https://stackoverflow.com/questions/25773245/ambiguity-in-pandas-dataframe-numpy-array-axis-definition) <br /> :::info EX_03:上傳[pandas_grades](https://drive.google.com/open?id=1kXda1ylxi5V8htWYQGc7BDA4m0OhfGwp)至Colab,練習dataframe的基本操作(選取、篩選、排序...)。 ::: ``` javascript= import numpy as np import matplotlib.pyplot as plt import pandas as pd df = pd.read_csv('pandas_grades.csv') # 基本資訊 df.info() df.shape df.columns df.index df.head() df.tail() # 資料選取 df['國文'] df[['國文','英文']].head() # 多個欄位用list裡面放欄位名稱 df[5:10] # 取得index 5~9 的資料 df.loc[5:10, ['國文','英文']] # 取得index 5~10 的資料,同df.loc[5:10][['國文','英文']] df.loc[5:10, '國文':'數學'] df.iloc[5:10, '國文':'數學'] df.iloc[5:10, 1:4] # 同上,用iloc以索引值來選取 df.國文 # 同 df['國文'] cg = df.國文.values cg.mean() cg.std() df.國文.mean() df.describe() # 取得 df 的統計資訊(每個欄位的平均值、最大值、最小值、標準差…) # 資料篩選 test = df.iloc[:3] test[ [True, False, True] ] # 列篩選的作法為保留布林list(和資料筆數同)中True索引那一列 filter = df['姓名'].str.contains('陳') df[filter] df[ df['數學'] >= 14 ] df[ df.數學 == 15 ] df[ (df.數學 == 15) & (df.英文 == 15) ] # panda中 &(and)、|(or) # 繪圖 df.國文.plot() df.國文.hist(bins=15) df.corr() # 相關係數 df.國文.corr(df.數學) df['總級分'] = df[['國文', '英文', '數學', '社會', '自然']].sum(axis=1) # df["新欄位名稱"]=df[要加總的欄位的list].sum(axis=1) df.head() df['主科'] = df.數學*1.5 + df.英文 # 新增欄位 df.head() # 排序 df.sort_values(by='總級分', ascending=False).head(20) df.sort_values(by=['主科', '總級分'], ascending=False).head(20) ``` - [數據合併、連接](https://zhuanlan.zhihu.com/p/38184619) | 合併方法 | 說明 | | --------| --------- | | concat | 沿縱向或橫向,將多個df合併 | - 資料刪除 | 刪除方法 | 說明 | | --------------| --------- | | del df['欄名'] | 刪除單行(直接修改df) | | df.drop(['欄名1', '欄名2'], axis=1) | 刪除多行,axis=1為刪除行,axis=0為刪除列。(不會直接修改df,加入inplace=True才會修改df) | - 遺漏值處理 * 缺失資料如果用「平均值、中位數、眾數、隨機值等替代」,效果一般,因為等於人為增加了雜質。 * 如果資料量大,可直接將資料刪除。 | 遺漏值處理方法 | 說明 | | -------- | --------- | | df.isnull() | 判斷是否為空值 | | df.notnull()| 判斷是否不為空值| | df.dropna() | 刪除有NaN(Not a number, 缺失值)的列 | | df.fillna(value=0) | 將NaN填入0 | - 資料分群 | 分群方法 | 說明 | | ------------ | --------- | | sector = df.groupby(by='欄位名') | 以欄位名分群,後面可加入要運算的函式,如sum、count、mean | | sector.size() | 每個群的大小 | | sectors.get_group('A') | 取出欄位名為'A'的資料 | <br /> :::info EX_04:DataFrame建立、合併操作、NaN處理。 ::: ``` javascript= import numpy as np import matplotlib.pyplot as plt import pandas as pd mydata = np.random.randn(4,3) # 產生 4x3 標準常態分佈亂數(平均值0,標準差1) df1 = pd.DataFrame(mydata, columns=list('ABC')) # 將array放入DataFrame df2 = pd.DataFrame(np.random.randn(3,3), columns=list('ABC')) df3 = pd.concat([df1, df2], axis=0) df3.index = range(7) df4 = pd.concat([df1, df2], axis=1) df4.columns=list('ABCDEF') df4.info() # D、E、F欄後為3 non-null,表示有一個NaN df4.isnull() df4.notnull() df4.dropna() df4.fillna(value=0) values_to_fill = {'D': 1, 'E': 2 ,'F': 3} # 指定將 'D'欄填入1,'E'欄填入2,'E'欄填入3 df4.fillna(value = values_to_fill) df4.mean() # 計算每個欄位的平均值,再將它填入NaN df4.fillna(df4.mean()) ``` :::info EX_05:美國哪裡最容易看到UFO。(分群) ::: ``` javascript= import pandas as pd df = pd.read_csv('http://bit.ly/uforeports') df.head() sector = df.groupby(by='Shape Reported') # 以 'Shape Reported' 分組 se徵徵ctor.size() # 每個組別的大小 sector.get_group('DISK').head() # 取得 'Shape Reported' 為 'disk' 的資料 df_state = df.groupby(by='State').count() df_state.sort_values(by='Time', ascending=False) # 原始資料並不會被排序後的資料覆蓋 df_state.sort_values(by='Time', ascending=False, inplace=True) # 覆蓋原始資料 df_state[:10].Time.plot(kind='bar') ``` <br /> ## 五、特徵標準化(Normalization)與選擇 + 透過特徵標準化,可以讓每個特徵的數值都落在某一特定的區間。可以優化梯度下降法,還可以提高精準度。 - 有些分類器需要計算樣本間的距離(KNN),如果一個特徵值的範圍非常大,那麼距離就會取決於這個特徵,導致分析的結果失真。 + 「特徵選取」(feature selection)的目標是要從原有的特徵中挑選出最佳的部分特徵,可改善高維度數據的準確率。 1. ### 常見的標準化 - Min-Max 標準化 * 將特徵數值按比例縮放到特定區間(0~1 或 -1~1) - Z-score 標準化 * 將特徵數值縮放成平均為 0、標準差為 1 - 參考網站 * [機器學習:特徵標準化!](https://ithelp.ithome.com.tw/articles/10197357) * [【資料科學】 - 資料的正規化與標準化](https://aifreeblog.herokuapp.com/posts/54/data_science_203/) * [莫煩-正規化Normalization](https://morvanzhou.github.io/tutorials/machine-learning/sklearn/3-1-normalization/) * [4.3. 数据预处理](http://sklearn.lzjqsdd.com/modules/preprocessing.html) <br /> :::info EX_06:標準化對SVM分類的影響? ::: ``` javascript= from sklearn import preprocessing from sklearn.model_selection import train_test_split from sklearn.datasets.samples_generator import make_classification from sklearn.svm import SVC import numpy as np import matplotlib.pyplot as plt x,y = make_classification(n_samples=300,n_features=2,n_redundant=0,n_informative=2, random_state=3,scale=100,n_clusters_per_class=1) # 生成分類模型數據 plt.scatter(x[:,0],x[:,1],c=y) x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2) clf = SVC() clf.fit(x_train,y_train) clf.score(x_test,y_test) ``` ``` javascript= x_scaled = preprocessing.scale(x) # 標準化X plt.scatter(x_scaled[:,0],x_scaled[:,1],c=y) x_train,x_test,y_train,y_test = train_test_split(x_scaled,y,test_size=0.2) clf = SVC() clf.fit(x_train,y_train) clf.score(x_test,y_test) ``` 2. ### 特徵選擇 Feature Selection - 移除低變異數的特徵(Removing features with low variance) * 變異數可以描述特徵的離散程度。一般情況下,可以刪除變異數過小的特徵(偏向某一兩個分類),因為其對結果的解釋力通常不大。 * 若建立 VarianceThreshold 時不設定 threshold 參數,預設會篩選掉變異數為零的欄位。 - 單變數特徵選擇(Univariate Feature Selection) * 單變數特徵選擇是根據每個特徵的單變數統計值(如chi2)作為門檻,然後依據該門檻選擇特徵(如SelectKBest)。 * Scikit-learn封装了一些特徵選擇方法如 (1) SelectKBest:將每個特徵的統計值算出後,選出 k 個最佳的特徵。 (2) SelectPercentile:將每個特徵的統計值算出後,選擇排前百分之幾最有意義的特徵。 * Select K Best為分類提供了三種評價特微的方式 (1) chi2(卡方統計值 χ2)能評估兩個變數是否互相獨立。該值愈大,兩變數愈有機會是相關的,愈小則愈不相關。 (2) f_classif(樣本方差F值) (3) mutual_info_classif(離散類別交互信息) (4) 另有用於回歸的f_regression - 利用模型選擇特徵 * 先訓練一個模型,然後以該模型計算出的特徵重要性作為依據,挑選解釋力大的特徵。 - 參考網站 * [特徵選擇(feature selection)演算法筆記](https://www.itread01.com/content/1546133794.html) * [sklearn中的特征提取](http://d0evi1.com/sklearn/feature_selection/) * [1.13. 特征选择(Feature selection)](http://sklearn.lzjqsdd.com/modules/feature_selection.html) <br /> :::info EX_07: (1)設定變異數的門檻,抽取最佳的特徵。     (2)使用卡方檢驗,抽取2個最佳的特徵。     (3)使用模型選擇特徵。 ::: ``` javascript= from sklearn.datasets import load_iris from sklearn.feature_selection import VarianceThreshold from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 from sklearn.feature_selection import SelectFromModel from sklearn.ensemble import ExtraTreesClassifier # 載入極限隨機樹模組做特徵選擇 iris = load_iris() x, y = iris.data, iris.target x.shape sel = VarianceThreshold(threshold=0.5) # 設定變異數的閾值,若特徵的變異數低於該值,該特徵就會被移除 x_sel_1 = sel.fit_transform(x) # 利用先前建立的 VarianceThreshold 來篩選 x_sel_1.shape # 篩選後剩下的特徵 ``` ``` javascript= x_sel_2 = SelectKBest(chi2, k=2).fit_transform(x, y) x_sel_2.shape ``` ``` javascript= clf = ExtraTreesClassifier(n_estimators=10)# 決定決策數的數量 clf = clf.fit(x, y) # 訓練模型 clf.feature_importances_ # 模型訓練完會得到一個評估各特徵重要性的矩陣,值愈大愈重要 clf.feature_importances_.mean() # 特徵重要性平均值 model = SelectFromModel(clf, prefit=True) # 建立 SelectFromModel 選擇器,並載入剛剛訓練完的極限隨機樹,因為該模型已訓練過,prefit 參數要設為 True。沒有設定threshold參數會以平均值作為門檻。 x_sel_3 = model.transform(x) # 篩選特徵。 x_sel_3.shape ```