---
tags: 雜筆
---
# 筆記目錄

* [GIT+VSCODE+MD - 生存工具](https://hackmd.io/T56rQ0CaSj2uuZa8R3gTFw)
* [Navigator - JS控制硬體](https://hackmd.io/g5rxNQiNQ120F3E76Xu0Kw)
* [Css - 屬性大全](https://hackmd.io/EJ1ec_zBS4CzFgmqBaPR_Q)
* [Bootstrap - 物件導向的CSS](https://hackmd.io/fNbgc3_LSG20SlWKjYaejQ)
* [Linux - 指令牛刀小試](https://hackmd.io/1AhsGeLNRga6LLTwVQ65ig)
* [統計筆記](https://hackmd.io/Zx2flP23T4apmwSYcjBXxQ)
* [Py演算法](https://hackmd.io/e_Pkab-vQBaxoRxPgEF7xg)
* [FINTECH - 基本、技術、籌碼](https://hackmd.io/FRS5kjdOS5CGcWkyd-ZOeA)
* [GIS - 地圖開發](https://hackmd.io/zxw_moTURfG6890L3sDZIw)
* [WEBPACK - 打包](https://hackmd.io/tkWGj4THScCtgumJRMkhXA)
* [SQL Server - 業界資料庫](https://hackmd.io/xgKzeT3ZQt-a-gTXakndGA)
* [Vue - 大補包](https://hackmd.io/0rCTNx-1RrmM2yrQtiscTA)
* [TradingVue - 技術分析](https://hackmd.io/dBWiFw-qQIiwGqx5QGrVyQ)
* [Yolo - 辨識盤中](https://hackmd.io/JLxKTZ-UTpa0CRL4xoYmsg)
* [Firebase - 前端也能操作資料庫](https://hackmd.io/iMCJoAowS0Sbrd9YZQzMTg)

### Excel 必備技巧
|動作|功能|
|-|-|
|"super"&"cool"|文字串接|
|資料>資料剖析|文字切分|
|VLOOKUP|配對字串|
|檢視>凍結窗格|特定欄位會一直保持在螢幕上|
|F4|重複動作、鎖定儲存格|
|shift+滑鼠拖移|交換欄位|
|shift+enter|換行|
|ctrl+shift+方向|快速選取|
|ctrl+方向|移到尚有資料的角落|
|alt+=|快速選取資料框|
|連點兩下儲存格右下角|以下全部套用|
|點選左上角全選、連點上方欄位|自動調整欄寬|
|資料>移除重複項|清除重複者|
|設定格式化的條件|反白特定數值|
|格式化為表格|可自由篩選|
### [Pandas V.S. R](https://hackmd.io/s/Syg8AIVyG)
### [資料庫管理](https://hackmd.io/s/ByJTBtFAb)
1. 熟悉CRUD(create, read, update, delete)
2. 批量自動處理(觸發條件自動化)

|工具選擇|excel|pandas|SQL|
|-|-|-|-|
|用途|探索與建檔|統計分析|儲存與分享|
|儲存方式|記憶體|記憶體|硬碟|
|讀檔方式|特殊編碼(讀取慢但可減少檔案大小)|sql,文字,excel,html|.sql與文字檔|
|處理速度|慢|極快|中|
|適用大小|百萬筆以下|GB以下|硬碟容量|
|資料表合併|資料>新查詢>從表格>合併查詢|pd.merge()|JOIN|

### [爬蟲](https://hackmd.io/s/HyuVGnFJz)
1. 透過網際網路取得資料來源的自動化機器人
2. 內容可以是圖片、網頁中的表格、JSON、XML、HTML文字

### [資料視覺化](https://hackmd.io/pwbj_ThcQ2GnQ9oNbSzwlQ)
> Plotly

一個線上資料分析與視覺化的工具，支援多種語言如python、R、MATLAB、Perl、Julia、Arduino、 REST，在線上模式中可以把圖表同步至雲端、繪製地圖，而在notebook中能夠與圖表互動，例如放大縮小移動、彈跳視窗、一鍵儲存、還可以製作動畫、滑動捲軸。
如果覺得plotly不夠簡單，可以嚐嚐老衲的[**lazyplotly**](https://github.com/billju/lazyplotly)

> 套裝軟體

寫程式寫累了嗎?Tableau是個GUI介面的商用資料分析與視覺化的軟體，儘管軟體本身主要是提供企業使用的，他們也推出了免費資料視覺化軟體[Tableau Public](https://public.tableau.com/en-us/s/)，或是微軟出品的Power BI，使用群族不在少數

### [機器學習](https://hackmd.io/bN8NsOKBSF2hpE7Y9monXg)
> sklearn
1. 被網友喻為地表最強機器學習套件
2. 從資料集、編碼、降維、分類、回歸、分群一概全包

> mlxtend

mlxtend提供sklearn所沒有的關聯分析演算法，其中參數包含
1. 支援度 Support(X->Y) = P(X,Y) (X、Y都發生的機率)
2. 信賴度 Confidence(X->Y) = P(Y|X) = P(X,Y)/P(X) (在X出現的情況下，X、Y都發生的機率)
3. 提升度 Lift(X->Y) = P(Y|X)/P(Y) (大於1代表有強關聯)
4. 槓桿度 Leverage(X->Y) = P(X∩Y) – P(X)P(Y) (等於零代表兩者獨立)
5. 置信度 Conviction(X->Y) = P(X)P(Y')/P(X∩Y') (等於零代表兩者獨立)


> XGBoost

1. 全名為eXtreme Gradient Boosting
2. 由CART(Classification and Regresion Tree)加上Boosting演算法所組成的，不僅效果好且計算複雜度不高
3. 自2016年釋出以來一直是資料競賽的神器。
4. Windows使用者可從[這裡](https://www.lfd.uci.edu/~gohlke/pythonlibs/)下載wheel檔案，完成後使用指令安裝(注意python版本要一致，此範例為3.7版)`pip install xgboost‑0.90‑cp37‑cp37m‑win_amd64.whl`

> LightGBM

1. 於2017/12/2由微軟釋出的Gradient Boosting框架
2. 比XGBoost更輕量、速度更快，是資料科學界的新寵

> tensorflow

1. google在2015年發布了tensorflow，並合併了keras高階API框架，更是大幅降低步入深度學習的門檻
2. 您可能有聽過：人工神經網路、卷積神經網路、遞迴神經網路、自編碼器、生成對抗網路、強化學習，深度學習是這些名詞的總集合
3. 深度學習強項為於高維度的資料，在圖像、語音辨識與生成上有突破性的發展
5. 模型由諸多張量(一維=向量、二維=矩陣、三維以上=張量)組成，適合使用處理器核心極多而單核心不強的顯示卡來運算
6. tensorboard視覺化訓練過程`tensorboard --logdir=ipynb/results/tensorboards`
7. 在終端機輸入`tensorboard --logdir=ipynb/results/tensorboards`
8. 接著會跳出網址`http://localhost:6006/`，以CTRL+左鍵點擊造訪網頁

> pytorch

1. Facebook開源的深度學習框架，tensorboard適合產品，pytorch適合學術研究
2. 僅支援unix作業系統，windows尚未支援
3. 開發與調整參數體驗較好

> keras

1. 以tensorflow、theano或CNTK做為後端的高階程式庫
2. 簡化了張量的處理、模型的設計過程變得更簡單明瞭、用更少的程式碼完成建模，非常適合作為教學使用

> RL 強化學習框架
1. [OpenAI Baselines](https://github.com/openai/baselines)
2. [stable-baselines3](https://github.com/DLR-RM/stable-baselines3)
3. [天授](https://github.com/thu-ml/tianshou)
4. [Ray Project RL-lib](https://github.com/ray-project/ray/tree/master/rllib/)
5. [Deep-Reinforcement-Learning-Algorithms-with-PyTorch](https://github.com/p-christ/Deep-Reinforcement-Learning-Algorithms-with-PyTorch)
6. [rlpyt - Berkekey AI Research](https://github.com/astooke/rlpyt)
7. [garage](https://github.com/rlworkgroup/garage)

### 後端開發
> [Django](https://hackmd.io/s/Sy1Ure_kz)

1. 架構模式上不同於常用的MVC(Model, View, Controller)，採用MTV架構(Model–Template–View)
2. 將原本View的部分再細分成Template(存放html)與View(寫http回應)，讓前端與後端能夠有更完善的分工

> [Flask](https://hackmd.io/fxoAisnGRCKJLA8msKrTVA)

1. flask是個微框架(microframework)，非常輕量、容易上手
2. 相較於django把所有架構都一口氣全包，僅提供最基礎的功能，需要仰賴大量的套件

> [Express]()
1. 基於Node.js

> [各框架性能評比](https://www.techempower.com/benchmarks/)

### Awesome系列
1. https://github.com/ybayle/awesome-deep-learning-music
2. https://github.com/keon/awesome-nlp
3. https://github.com/enaqx/awesome-react
4. https://github.com/clvrai/awesome-rl-envs