# 新創產品 - 驗屍報告 - CIH

{%hackmd tGp8pt49Q2aT5cD5TFyaIA %}

> Speaker: CIH

##
偽標題: 如何打造一個完美的棺材 讓自己躺進去

資料科學超乎想像 - Facebook劍橋分析事件

## 爬蟲技術/資料分析 相關的 Open Source
* wget, curl
* PhantomJS
* Selenium
* html2text
* 影像辨識處理：ImageMagick, tesseract

## 換IP沒用啦 最難搞的網站
* Google (本身就爬蟲王)
* SimilarWeb

SimilarWeb 會用 javascript 把 client 端的許多資料 (eg: OS 版本, browser 版本, plugin 狀態 ...)送到 Server 去做一個 unique ID, 只要爬蟲的環境一樣就會被封住 (大意)

P.S 神經質網站：政府電子標案採購網(89/3/8,決標資料328萬筆)
> 所有公家機關學校 發包都會在這裡
> 我只是20秒內看了5,6筆，就開始問我撲克牌驗證，再多看一點就被ban掉了
> 大量 proxy ip 就可以解決了
> 撲克牌辨識用 ImageMagick 就解決了

國防部，疾鋒專案1791億元
決標金額還有負數咧[有來源嗎?]
> 仁武垃圾焚化廠委託操作管理公民營機構甄選 回頭找連結

風力 風電、長照 的標案 金額都很高
長照金額最高的是台中市政府 (破2000)
台北大概250

可以從這裡看到競爭對手，因為標到的廠商名稱會公開

## Google Trends
Facebook的搜尋，從 2008年 開始增加 2013/5/1 搜尋量最高，之後開始遞減
> 判斷：因為大家都知道_Facebook_，所以不需要再搜尋了，需要其他工具輔助判斷Google趨勢的意義

## 創辦人死亡的原因
他認為他的東西用戶極度喜歡，其實是創辦人做的都是極端用戶在用的東西

* 人性
* 過去不代表未來
* 經歷背景
* 沒有真正洞悉市場的數據分析

創辦人會去創造一個市場上沒有的產品，因此他沒有判斷能力，他會賭身家全部壓進去
就算給他看市場數據，他只會說「那是以前的資料」

> 為什麼川普相信數據，其他創辦人不相信?
* 川普的背景是房地產，本身就全部跟數據有關
* 信賴 相信分析人員

相對論，天花板
> 越靠近天花板，要付出的成本也越大
問歷史，問用戶

創新產品
不要做好，也不要做滿

## 會去爬的網站
* Google Search
> 反制爬蟲的王者，已經無法分析是否是爬蟲，所以就只吐一筆資料，一個禮拜後就好了
* Facebook
* Amazon
* GooglePlay,App Store,SimilarWeb,alexa.com,Crunchbase,App Annie,reddit

## 曾莞婷 FB為什麼很多人追
台劇：壞女人
粉絲145萬人
參與度6.2%

### 比較其他藝人的粉絲參與度
吳宗憲2.1%
周杰倫0.1%
宋芸樺0.4%
邵雨薇2.3%

曾莞婷6.2%(代言)

原因：沒有打廣告的時候，自己貼使用的產品和化妝結果，也有很多人按讚(粉絲沒有反感)

## 政治人物粉絲參與度
柯文哲4.4%
姚文智10% (最後終到45%，然後就關閉了)
林佳龍3%
陳其邁1.7%

## 讓我們分析柯文哲
喜歡柯文哲的人，也喜歡他老婆，比其他人更多追隨陳珮琪(4.3倍)和黃國昌(4.2倍)的粉絲團
因此不能得罪這些人

### 喜歡柯文哲的也會追隨那些粉絲團
* 4.3 陳珮琪
* 4.2 黃國昌
* 3.8 林昶佐
* 3.5 海綿寶寶驚點語錄
* 3.5 香蕉哥哥 why? 我真的不知道為什麼
* 3.5 楊伊媚
* 3.3 高嘉瑜

### 討厭柯文哲的也會追隨那些粉絲團
* 0.1 討厭柯文哲的
* 0.2 侯友宜比蘇貞昌好
* 0.3 不要欺負救國團
* 0.3 中華民國讚

柯文哲... ？有誰記得嗎？
Inside 網路趨勢觀察
Hacks In Taiwan
> 喜歡柯文哲的都是我們這群人（資訊人）

## 從用戶留言分析資料
Amazon Echo銷售量，會和留言成正本
2018年1月很高，2018年2月掉下來，因為其他競爭者進來市場了

29度到32度，全國的用電量會增加18%
很神奇的是 32~35 度C 用電量沒增加，因為該開冷氣的都開了

## 市場分析極度客製化
溫度 氣象 新聞 社交+市場
加上長時間的累積，門檻很高

想看文章可以到
https://www.facebook.com/cih.tw

###### tags: `COSCUP2018` `misc`