---
# System prepended metadata

title: 輕鬆學會程式交易 | Chapter 4 | 取得資料

---

# 輕鬆學會程式交易 | Chapter 4 | 取得資料
[TOC]

## 4-2 初階爬蟲教學
### 爬蟲步驟
#### setp1 分析
1. 找到網頁，滑鼠右鍵點選“檢查”
2. 點擊”network”（網絡面板）版面
- 功能：網絡面板功能：找到下載的文件
3. 點選priview，在Name裡面的檔案尋找我們要的資訊
![](https://i.imgur.com/5GugqdN.png)
4. 點選Headers，觀察欄位
- General(一般資訊)
    - RequestURL：伺服器請求的網址
    - Request Method：伺服器傳送訊息的方式

- Request Headers（請求標頭）
    - 功能：用戶端流覽器，請求頁面的時候，它的行為或狀態的相關資訊
    - User-Agent:假裝自己是瀏覽器，因為User-Agent會告訴網站它是透過什麼工具（瀏覽器名稱、瀏覽器版本號、渲染引擎、操作系統）發送請求的，就可以騙過該網站了
- Form Data（表單數據）
    - 功能：填入post表單的資料
- Query String Parameters(查詢參數)
    - 功能：用GET方法的時候填入的參數 
#### setp2 數據處理
1. 使用BeautifoulSoup或pandas解析數據

### Requests套件
Requests是一個實現HTTP請求的工具，可以模仿瀏覽器，取得網路端的信息。
```python=+
pip install requests
```
### 範例
我們使用這個[網址](http://www.j4.com.tw/james/remoip.php)來做示範，點進去即可看到現在電腦的IP。
```python=
url = "http://www.j4.com.tw/james/remoip.php"
res = requests.get(url)
print(res.text)
```
```
'<html>\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=utf-8">\n<title>查看自己的IP</title>\n<link rel=stylesheet type="text/css" href="test.css">\n</head>\n\n<body>\n<p>&nbsp;</p>\n<div align="center">\n<h2>查看自己的IP</h2>\n您的 IP 是: xxxx.xxxxx.xxxx.xxxx<br><br><br><br>\n<a href="/">HOME</a>\n</div>\n</body>\n</html>\n'
```

