Spark

查看pyspark 的help

​​​​pyspark --help |& less
​​​​
​​​​|& : 把standard error轉到standard output

指令

​​​​--master MASTER_URL  (預設是 local) 叢集確認

​​​​--deploy-mode 誰執行

​​​​--executor-memory MEM (Default: 1G) 記憶體
​​​​--executor-cores NUM (Default: 全部，若與YARN整合為1顆 ) CPU
​​​​--driver-cores NUM (Default: 1) driverCPU

安裝pandas 與 pyarrow

​​​​pip3 install pandas pyarrow
​​​​pyarrow(用於優化python於spark的環境)

完整版PySpark(內建在 $SPARK_HOME/python)

*pip3 list看不到PySpark，可以設定看的到(完整版不要找不到跑去安裝簡單版PySpark)

路徑: /usr/local/bin/pyspark/
*因為是用pyspark啟動jupyter lab，所以會先建好Session，且jupyter會把所有環境設定設定好，所以在jupyter內的pip3 list時看的到完整版。

完整版需用腳本起動，Memory配置設定在腳本中(不方便改)
所以完整版適合跑叢集。

簡單版PySpark(要安裝 PySpark套件)用於邊緣節點

*pip3 list看得到PySpark

輕量級路徑: /usr/local/lib/python3.8/dist-packages/pyspark/
*輕量級啟動jupyter lab時，會找不到spark Session，因為spark是用import的，所以要自己建立 Session。

輕量級改Memory配置可以在自己創建時做設定(好修改)
所以輕量級彈性較高，適合寫程式。

Spark 簡單版的環境變數

要在login時載入

在cd /etc/profile.d/加login腳本

​​​​nano spark330.sh

​​​​寫入:
​​​​export PYARROW_IGNORE_TIMEZONE="1"

到login帳號執行

​​​​. /etc/profile.d/spark330.sh

確認是否套用成功

​​​​echo $PYARROW_IGNORE_TIMEZONE

---

安裝jupyterlab後設定

建立jupyter的spark捷徑腳本

編輯spark捷徑腳本

設定jupyter讓大家都可接

找設定檔路徑

編輯設定檔

執行啟動: ./pysparklab.sh

---

Spark網頁UI (4040/tcp)

cluster managers Web UI

http://xxxx.example.com:4040

看誰執行程式: Environment > spark.driver.host

Storage Memory只會使用設定Memory的一半(沒設定預設啟動Memory為1G，所以Storage Memory約500MB)

Spark 的 RDD 是 In-memory 的運算

---

PATH中若沒設定搜尋路徑，路徑要加 (./)

---

Spark叢集啟動指令

一.切換到hadoop帳號

​su - hadoop

二.到spark目錄

​cd $SPARK_HOME

三.開啟/關閉Spark叢集(只有bdse75要執行)

『開啟Spark』

1.開啟master

​sbin/start-master.sh

2.開啟大家的worker

​sbin/start-workers.sh

---

『關閉Spark』

*注意:要確認8080頁面都沒人在執行才可關)

1.關閉大家的worker

​sbin/stop-workers.sh

2.關閉master

​sbin/stop-master.sh