Web Scrapping, Crawler and PHP - 李昀陞
===

###### tags: `COSCUP2020` `中階` `RB105`

{%hackmd 7CD4pdKQTa2p6Y3VqH3VrQ %}

> 請從這裡開始

http://slides.com/peter279k/web-scrapping-crawler-and-php

## About me
* 開源專案貢獻者
* 現任職於工研院
* PHP 5.3~7+

## Jokes about web crawler and php
> 為什麼 Python 爬蟲相關的書那麼多，PHP 卻只有一本？

## My small story about learning web crawler
* 《Webbots, crawlers, and screen scrapers》
* 作者有回信

## My first web crawler
校園 Wi-Fi 自動驗證

## Screen scrapers...

## iMacros
* 用腳本操控Web瀏覽器
* 商用授權，後來就沒聽到人使用了

## First hackathon in 2015
* 自動爬取學校新聞爬蟲

## Back nowadays
## Fundameals
* Web Bot
* Web Crawler
* Web Scraping

## Develop your first web crawler
### Environment
* Linux(Especially Ubuntu 16.04+
* Google Chrome
* PHP
* ...

### Installation
* 安裝 Composer
* guzzle
* symfony/dom-crawler
* symfony/css-selector

* 或是用打包好的 Docker （待補）

## Inspection
### Target URL
### Latest News URL
### HTTP inspection
* 頁面自動載入
* Chrome 瀏覽器的開發者工具列可以看載入頁面的請求 header， Centent-Type 為 text/html
* 開啟 Response 分頁結果內容是 json

## Organize thoughts
1. 請求網址
2. 發送請求Two
3. 解析 a tag 得出下一頁的網址
4. 最後會得到一個關聯式陣列

## DOM Tree
* 取得底下某個 tag 的相關資訊

## Basic Case Study
### Target URL for iframe
* 台電備轉容量
* Intern: I cannot find these data sets
* 圖表是一個 iframe 的獨立頁面
* 載入 3 個 CSV 檔（107~109 民國年）

## Advanced/Useful ...

### Subject System: ASP.NET
* 最難爬取
* 選課系統
* 奇怪的 hidden value

### Invalid User Agent

### Subject System Crawling
* Request Header 帶過去
* Cookie 設好

### Invalid Order Form Params
* 參數順序錯就會觸發 Invalid ViewState 錯誤

## Javascript
* 在瀏覽器前端做一些處理

## Web Page loading
* Open Web browser and type URL
* Web page loading
* DOM ready
* DOMContentLoaded
*
* Execute JS
* Page Ready

## Web Page loading for Web Driver/Engine
* Selenium
* headless chrome
* peppeteer
* 簡化 headless chrome 操作
* PhantomJS（現已不再維護）

## headless chrome
chome-php/chrome php 套件

## Case Study
### 某廣播網站
* 節目頁面內容全部載入 json ，假的載入更多實現
* 播放頁面音檔 key 放在 local storage
* json string 的 json string(!)
* 使用 headless Chrome 執行 javascript 取得需要的東西

## Anti Crawler / Anti-Bot
* 用 sleep 來模擬人類操作迴避

## Are you afraid of Captcha
* 假的驗證碼
* 圖片驗證碼
* 用 OCR 解決（Tesseract）

## Organize Thoughts
...

## Command Wrapper Tesseract in PHP
Tesseract OCR for PHP

## More funny captchas
funny-captcha.md

## 總結
* 寫給 PHP 開發者的 30 堂網路爬蟲開發
* 有趣驗證碼的分析
* Tesseract
* ~~通靈~~

## Q&A