###### tags: `爬蟲與自動化`

# 爬蟲工具
Python 爬蟲的方式有很多，不同的方式適用於不同的場景和需求。以下是一些常見的 Python 爬蟲方式：

## 1. [Requests 函式庫](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/HkFjK4bWh):
Requests 是一個簡單易用的 HTTP 函式庫，適用於發送 HTTP 請求以獲取網頁內容。

## 2. [Beautiful Soup 函式庫](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/H192vIW-3):
Beautiful Soup 是一個 HTML 和 XML 解析器，它可以幫助你從網頁中提取所需的數據。通常與 Requests 函式庫一起使用。

## 3. [Selenium 函式庫](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/SJu2ih7R5):
Selenium 是一個用於自動化瀏覽器操作的函式庫。對於需要與網頁互動（例如填寫表單、單擊按鈕等）或涉及 JavaScript 渲染的網站，Selenium 非常有用。

## 4. [Scrapy 框架](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/B1oETvfZ3):
Scrapy 是一個強大的 Python 爬蟲框架，它具有許多高級功能，如並發請求、數據管道、中間件等。適用於大型、複雜的爬蟲項目。

## 5. PyQuery 函式庫:
PyQuery 是一個類似於 jQuery 的 HTML 解析庫，它允許你使用簡單的 CSS 選擇器來查找和提取網頁元素。可以與 Requests 函式庫一起使用。

## 6. [lxml 函式庫](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/BktkcvMWh):
lxml 是一個用於解析 XML 和 HTML 的高性能函式庫。它支持 XPath 和 CSS 選擇器，可以與 Requests 函式庫一起使用。

## 7. [Re (正則表達式) 模組](https://hackmd.io/@H4RF-OwZTV2RIUC-66D55g/ryE0GDMW3):
Python 內置的 re 模組允許你使用正則表達式來匹配和提取網頁中的文本。適用於簡單的文本處理和數據提取任務。

這些爬蟲方式可以根據你的需求和項目的複雜性進行組合。例如，你可以使用 Requests 函式庫獲取網頁內容，然後使用 Beautiful Soup、PyQuery 或 lxml 提取所需的數據。對於更複雜的項目，Scrapy 框架可能是更好的選擇。