###### tags: `web crawler`,`Selenium`,`自動登入`,`瀏覽器自動化`
# Selenium簡介與應用(PTT資料擷取)

* **為瀏覽器自動化（Browser Automation）需求所設計的一套工具集合，讓程式可以直接驅動瀏覽器進行各種網站操作。**
* **利用 Selenium 操作網頁表單資料、點選按鈕或連結、取得網頁內容並進行檢驗，可以滿足相當多測試的需求。**
* **Seleniumn WebDriver是用來執行並操作瀏覽器的一個API介面，程式透過呼叫WebDriver來直接對瀏覽器進行操作。**

* 檢查chrome版本
* 
* * 安裝Chrome <https://sites.google.com/chromium.org/driver/>
* 
* **下載Chrome記得跟當前路徑放在一起才能運作,或是要指定路徑**
* pip install selenium

**XPath(XML Path)**
* 用來查詢XML/HTML文件的所有元素
* XML/HTML的每個元素都是一個節點，整份文件是一個樹狀結構
* selenium可以使用xpath的形式來定位網頁元素，我們可以通過開發者模式的來獲取xpath路徑

**動態網頁**
* Web網站會因使用者互動、時間或各種參數來決定回應的網頁內容稱為動態網頁
* 靜態網頁的爬取，通常使用[requests]+[BeautifulSoup]來解決
* 動態網頁的爬取，則使用[Selenium]套件的[WebDriver]模組來解決

**Selenium之功用**
* 啟動真實瀏覽器來進行網頁操作自動化
* 支援一般標籤定位
* 支援CSS選擇器定位
* 支援XPath表達式定位
* 支援AJAX技術的客戶端動態網頁資料的擷取

**Selenuim網頁資料定位函式**

| 定位函式 | 說明 |
| -------- | ---- |
|find_element(s)_by_id |傳回第一個(所有)相符id的元素(串列) |
|find_element(s)_by_name | 傳回第一個(所有)相符name的元素(串列) |
|find_element(s)_by_class_name |傳回第一個(所有)相符class的元素(串列) |
|find_element(s)_by_tag_name |傳回第一個(所有)相符標籤名稱的元素(串列) |
|find_element(s)_by_link_text|傳回第一個(所有)相符超連結文字的元素(串列) |
|find_element(s)_by_partial_link_text |傳回第一個(所有)相符部分超連結文字的元素(串列) |
|find_element(s)_by_css_selector|傳回第一個(所有)相符CSS選擇器的元素(串列) |
|find_element(s)_by_xpath|傳回第一個(所有)相符XPath選擇器的元素(串列)|

#抓取PTTGossiping[Selenium]

#1
from selenium import webdriver

#2
www=webdriver.Chrome("chromedriver") #"chromedriver"放在同一路徑可不寫
url="https://www.ptt.cc/ask/over18?from=%2Fbbs%2FGossiping%2Findex.html"

#3
www.implicitly_wait(10) #隱性等待抓資料時間

#4
www.get(url) #用get取得網路資料

www.maximize_window() #視窗最大化
button=www.find_element_by_name("yes")#問你是否滿18歲
button.click()

for line in www.find_elements_by_class_name("r-ent"):
    try:
        print(line.find_element_by_class_name("date").text.strip())#日期
        print(line.find_element_by_class_name("title").text.strip())#標題
        print("https://ptt.cc"+line.find_element_by_tag_name("a").get_attribute("href"))#連結
        print(line.find_element_by_class_name("author").text.strip()) #作者
        print(line.find_element_by_class_name("nrec").text.strip()) #nrec回應人數
        print("==================================================")
    except:
        continue
#5
www.quit()#離開視窗