---
# System prepended metadata
title: 雲端平台建置-使用VirtualBox模擬Cluster
---
# Hadoop、Spark 雲端平台建置-使用VirtualBox模擬Cluster
[Reference：Python+Spark2.0+Hadoop 機器學習與大數據分析](https://pythonsparkhadoop.blogspot.com/)
[Reference：30天認識主流大數據框架：Hadoop + Spark + Flink](https://ithelp.ithome.com.tw/users/20138939/ironman/6415)
## 前言
教學中會建置Hadoop (Multi Node Cluste)，並當作Spark的資料處理引擎，並在其上使用Python。最後在Jupyter Notebook執行Spark。
主要流程依照[Python+Spark2.0+Hadoop 機器學習與大數據分析]進行。
### 相依性問題
過程中會牽扯到一堆版本相依性問題，java啦Python、Hadoop、Spark...
說了都是重做了不少次的血與淚(遇到太多問題才下定決心寫的教學)，若需使用不同版本，記得查詢版本問題，主要例如：
Spark官方文件提到(節錄自3.5.版本)：
[Reference](https://spark.apache.org/docs/3.5.4/)
[Reference](https://spark.apache.org/downloads.html)
有人整理Hadoop與java版本：
[Reference](https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions)
#### 如何查看將安裝的特定java版本
* **查看javajdk-8-jdk**
## 作業環境與安裝版本
* OS：Windows 11
* Virtual Box：7.0.26
* 虛擬機掛載OS： ubuntu-20.04.6 x64
* Hadoop：3.3.6 [連結複製點](https://archive.apache.org/dist//hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz)
* Scala：3.3.6 [連結複製點](https://github.com/scala/scala3/releases/download/3.3.6/scala3-3.3.6.tar.gz
)
* Spark：3.4.1 [連結複製點](https://archive.apache.org/dist/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz)
* Anaconda：2023.03-0-Linux-x86_64[連結複製點](https://repo.anaconda.com/archive/Anaconda3-2023.03-0-Linux-x86_64.sh)，[其他版本](https://repo.continuum.io/archive/index.html)
## 架構
首先會建立一台虛擬機，實作hadoop單節點，接著會複製這台打造以下一master，三workers的架構：
## 虛擬環境建置
### 安裝VirtulBox
基本上一直按【下一步】即可。
若遇到以下警示頁面：
(網上截圖，所以和文章版本不一)
說明需安裝Microsoft Visual C++Redistributable：
1. 搜尋
[Microsoft Visual C++ 可轉散發套件的最新支援下載項目](https://learn.microsoft.com/zh-tw/cpp/windows/latest-supported-vc-redist?view=msvc-170#latest-supported-redistributable-version)
1. 找到以下畫面，選擇x64版本點選下載並安裝(依OS系統選擇恰當版本，windows可在設定中的系統資訊查看)
### 建立虛擬機
按下新增按鈕開始建立
(名稱改為HadoopNV)
依圖設定虛擬機名稱、選擇資料夾、掛載Iso檔(通常選擇完iso檔後後續OS選項會自動填入)
下一步設定username和密碼即可
再來依圖設置虛擬硬碟。
能配置越高當然越好，CPU和記憶體也可以多給點。
### 虛擬機設置
#### 設置剪貼簿
依圖設置
---
#### 設置 Terminal
點選左上角 Activities 呼叫出搜尋框找到terminal，並按住圖示將之拖曳到側攔，較方便後續使用
**【Tips：terminal啟動問題】**
若點選terminal等啟動terminal的方式都沒反應則可採取以下解法：
1. 最簡潔的方式是在設定中找到 Region & language並點選開啟如圖畫面。
1. 原始設置是US(如圖)，現在隨便選其他國家的英文設定。
1. 然後重新啟動即可。
[Reference](https://www.youtube.com/watch?v=ewFvNOP2oKc)
---
#### 設置 Guest Additions CD
找到插入 Guest Additions CD 映像檔，點選運行(運行VirtualBox Guest Additions安裝程式)
也可以採取以下方法進行：
點選側欄Vbox的光碟圖示，開啟如圖畫面，點選右上角Run software
---
**【Tips：Guest Additions安裝程式沒反應或遇如下訊息】**
巴拉巴拉....
主要的問題是： “此系統目前未設定為建置核心模組。須安裝 gcc make perl 軟體包。 ”
這意味著需要安裝建構核心模組所需的軟體包：
1. 開啟terminal
2. 輸入以下指令：
```
sudo apt update
sudo apt install build-essential dkms
```
這兩行是開啟更新包清單並安裝gcc、make、perl以及通常用於編譯核心模組的必要檔案
3. 重新運行VirtualBox Guest Additions安裝程式
---
## 安裝 Hadoop Single Node
在終端機運行以下指令：
* **更新apt-get：**
```
sudo apt-get update
```
---
**【Tips：User is not in the sudoers file.問題】沒遇到跳至線以下安裝java**
修復步驟：
啟動時按住shift鍵不放，進入
選擇：
如圖鍵入：
[Reference](https://www.youtube.com/watch?v=ZxOwFOtcaaA)
___
* **安裝 java，並取得安裝路徑：**
```
sudo apt install openjdk-8-jdk
update-alternatives --display java
```
安裝路徑如java8的話是(/usr/lib/jvm/java-8-openjdk-amd64)待會會用到
* **設定ssh(使用rsa產生金鑰)：**
```
sudo apt-get install ssh
sudo apt-get install rsync
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
```
說明： -P '' 用於設置無密碼登入的ssh
* **測試ssh**
```
ssh localhost
```
* **退出ssh**
```
exit
```
* **安裝hadoop並移動至其他資料夾**
```
wget https://archive.apache.org/dist//hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
sudo tar -zxvf hadoop-3.3.6.tar.gz
sudo mv hadoop-3.3.6 /usr/local/hadoop
ls /usr/local/hadoop
```
* **設定hadoop-env.sh檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
```
取消註解並加上java路徑：
依據你的java路徑填入
* **設定bashrc檔：**
```
sudo nano ~/.bashrc
```
將以下內容在檔案最下方貼上：
```
#Hadoop Variables
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
#Hadoop Variables
```
使修改生效：
```
source ~/.bashrc
```
* **測試Hadoop安裝是否成功：**
```
hadoop classpath
```
以常用指令測試，如果能顯示內容而不是「command not found」，表示指令可用。
* **設定core-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
```
開啟檔案後在之中插入以下文字：
```
fs.defaultFS
hdfs://localhost:9000
```
**設定hdfs-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
```
開啟檔案後在之中插入以下文字：
```
dfs.replication
3
dfs.namenode.name.dir
file:/usr/local/hadoop/hadoop_data/hdfs/namenode
dfs.datanode.data.dir
file:/usr/local/hadoop/hadoop_data/hdfs/datanode
```
dfs.replication=3
這是資料副本數(理解為背後多操作幾台虛擬機，幾個節點的概念)，在多節點 cluster 是正確的設定（每個 block 會有 3 個副本）。
dfs.namenode.name.dir
NameNode metadata 存放路徑，本地路徑即可。
在 cluster 中，每個 NameNode 都要有自己的目錄。
dfs.datanode.data.dir
DataNode 存放 HDFS block 的資料目錄，每個 DataNode 需要本地磁碟路徑。
* **設定yarn-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/yarn-site.xml
```
開啟檔案後在之中插入以下文字：
```
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
```
* **設定mapred-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml
```
開啟檔案後在之中插入以下文字：
```
mapreduce.framework.name
yarn
```
* **建立目錄：**
```
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
```
* **格式化目錄：**
注意第一行的兩user代表填的是建立虛擬機一開始所自行設置的username
```
sudo chown user:user -R /usr/local/hadoop
hdfs namenode -format
```
* **啟動Hadoop：**
```
start-dfs.sh
start-yarn.sh
jps
```
有以下項目則成功：
* SecondaryNameNode
* ResourceManager
* NodeManager
* DataNode
* NameNode
---
【Tips：如果遇到ERROR: Cannot set priority of datanode process】
解法是提升limit 限制：
```
sudo nano /etc/security/limits.conf
```
將以下貼在檔案最下面：
```
@hadoop hard nice -15
@hadoop hard priority -15
```
[Reference](https://issues.apache.org/jira/browse/HDFS-13397)
---
* **firefox察看Hadoop single 結果：**
http://localhost:8088
http://localhost:9870
## 安裝 Hadoop Multi Node Cluster
實作前小提醒：記得認清楚每步驟修改的是哪台機器。
### 複製虛擬機為dataNV1
依圖順序建立(由上至下閱讀)：
下一步
完成後找到設定，設定網路介面卡*2
### 設定dataNV1虛擬機
* **設定網卡：**
```
sudo nano /etc/netplan/01-network-manager-all.yaml
```
開啟為下圖：
增加以下文字，將內部ip設為192.168.56.101：
```
ethernets:
# 網卡 1: DHCP - 供外部網路連線使用 (enp0s3 上的ip 是 DHCP 取得的)
enp0s3:
dhcp4: yes
# 網卡 2: 靜態 IP - 供內部或 Host-Only 網路使用 (enp0s8)
enp0s8:
dhcp4: no
addresses: [192.168.56.101/24]
```
套用設定：
```
sudo netplan apply
```
* **設定host：**
```
sudo nano /etc/hostname
```
改為下圖：
重新啟動，可發現hostname修改了：
```
sudo nano /etc/hosts
```
新增以下內容：
```
192.168.56.100 masterNV
192.168.56.101 dataNV1
192.168.56.102 dataNV2
192.168.56.103 dataNV3
```
* **設定core-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
```
開啟檔案後在之中改為以下文字：
```
fs.defaultFS
hdfs://masterNV:9000
```
* **設定hdfs-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
```
開啟檔案後在之中改為以下文字：
```
dfs.replication
3
dfs.datanode.data.dir
file:/usr/local/hadoop/hadoop_data/hdfs/datanode
```
* **設定yarn-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/yarn-site.xml
```
開啟檔案後在之中改為以下文字：
```
yarn.resourcemanager.resource-tracker.address
masterNV:8025
yarn.resourcemanager.scheduler.address
masterNV:8030
yarn.resourcemanager.address
masterNV:8050
```
* **設定mapred-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml
```
開啟檔案後在之中改為以下文字：
```
mapred.job.tracker
masterNV:54311
```
### 複製dataNV1虛擬機為dataNV2、dataNV3、masterNV
依序如圖：
重複複製dataNV1建立datNV2、datNV3、masterNV
設定記憶體(僅16G的話)：
建議masterNV 4G、dataNV1 2G、dataNV2 2G、dataNV3 2G
(目前分配：8 4 4 4)配置盡量越高越好
### 設定dataNV2、dataNV3、masterNV的ip與hostname
以data2為例，重複以下動作修改成各自的ip與hostname
* **設定網卡：**
```
sudo nano /etc/netplan/01-network-manager-all.yaml
```
ip的 101改為102：
套用設定：
```
sudo netplan apply
```
* **設定hostname：**
```
sudo nano /etc/hostname
```
改為下圖：
重複做dataNV3、masterNV的ip與hostname喔
### 設定master
* **設定hdfs-site.xml檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
```
開啟檔案後在之中改用以下文字：
```
dfs.replication
3
dfs.namenode.name.dir
file:/usr/local/hadoop/hadoop_data/hdfs/namenode
```
* **設定masters檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/masters
```
新增檔案後鍵入master節點名稱，如下圖：
* **設定workers檔：**
```
sudo nano /usr/local/hadoop/etc/hadoop/workers
```
新增檔案後鍵入剩下的節點名稱，如下圖：
### masterNV連線dataNV1、2、3
首先啟動master、dataNV1、2、3虛擬機
在master的終端機輸入指令：
```
ssh dataNV1
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown user:user -R /usr/local/hadoop
exit
```
連線 dataNV1之後
和dataNV1斷開連線後來到dataNV2
```
ssh dataNV2
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown user:user -R /usr/local/hadoop
exit
```
和dataNV2斷開連線後來到dataNV3
```
ssh dataNV3
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown user:user -R /usr/local/hadoop
exit
```
重建masterNV的hdfs目錄
```
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo chown -R user:user /usr/local/hadoop
hdfs namenode -format
```
* **啟動 Hadoop Multi Node Cluster**
```
start-dfs.sh
start-yarn.sh
```
http://localhost:
http://masternv:
皆可
## HDFS命令
啟動Hadoop Multi Node Cluster之後：
> 這部分基本都是按該參考書籍的命令實作：
> [Reference：Python+Spark2.0+Hadoop第六章](https://pythonsparkhadoop.blogspot.com/2016/09/6-hadoop-hdfs.html)
### 建立與查看HDFS目錄
* **建立HDFS目錄**
```
hadoop fs -mkdir /user
hadoop fs -mkdir /user/user
hadoop fs -mkdir /user/user/test
```
說明：hadoop fs -mkdir /user/{帳戶名稱}
* **查看HDFS目錄**
```
hadoop fs -ls
hadoop fs -ls /
hadoop fs -ls /user
hadoop fs -ls /user/user
hadoop fs -ls -R /
```
* **一次建立所有HDFS子目錄**
```
hadoop fs -mkdir -p /dir1/dir2/dir3
```
* **從本機複製檔案到 HDFS**
```
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/user/test
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/user/test/test1.txt
```
結果：
說明：
1. 把本機的 /usr/local/hadoop/README.txt
複製到 HDFS 的 /user/user/test/ 資料夾裡。
2. 把檔案複製到 /user/user/test/ 裡，並改名為 test1.txt。
```
hadoop fs -cat /user/user/test/README.txt
hadoop fs -cat /user/user/test/README.txt|more
```
結果：
說明：
1. 直接將HDFS上的 /user/user/test/README.txt 內容顯示到終端機上。
2. 同樣印出檔案內容，但使用more命令分頁顯示。
```
hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/user/test
```
結果：
說明： 強迫複製重複檔案至HDFS目錄。
```
hadoop fs -copyFromLocal /usr/local/hadoop/NOTICE.txt /usr/local/hadoop/LICENSE.txt /user/user/test
hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/user/test
```
結果：
說明：
1. 將多個本地檔案 (NOTICE.txt 和 LICENSE.txt) 同時複製到 HDFS 的 /user/user/test 目錄。
2. 將本地的 /usr/local/hadoop/etc 整個目錄複製到 HDFS /user/user/test。
```
hadoop fs -put /usr/local/hadoop/README.txt /user/user/test/test2.txt
echo abc | hadoop fs -put - /user/user/test/echoin.txt
hadoop fs -cat /user/user/test/echoin.txt
```
結果：
說明：
1. 把本地的 README.txt 上傳到 HDFS 路徑 /user/user/test/test2.txt。
2. 在 HDFS 上建立一個內容為 abc 的檔案。
3. 將 HDFS 上的 echoin.txt 內容印出來。
```
ls /usr/local/hadoop | hadoop fs -put - /user/user/test/hadooplist.txt
hadoop fs -cat /user/user/test/hadooplist.txt
```
結果：
說明：
1. 取得本地命令輸出的結果(本地目錄列表)，將輸出的結果直接寫入 HDFS 檔案。
2. 查看複製的輸出內容
* **將HDFS上的檔案複製到本機**
```
mkdir test
cd test
hadoop fs -copyToLocal /user/user/test/hadooplist.txt
ll
```
```
hadoop fs -get /user/user/test/README.txt localREADME.txt
```
說明：把 HDFS 上的 /user/user/test/README.txt 複製到當前目錄，並命名為 localREADME.txt
* **複製與刪除HDFS檔案**
```
hadoop fs -mkdir /user/user/test/temp
hadoop fs -cp /user/user/test/README.txt /user/user/test/temp
hadoop fs -ls /user/user/test/temp
hadoop fs -ls /user/user/test
hadoop fs -rm /user/user/test/test2.txt
hadoop fs -ls /user/user/test
hadoop fs -rm -R /user/user/test/etc
```
* **使用UI 查看HDFS檔案**
http://masternv:9870/
遠端伺服器：
## Spark安裝與設置
### Scala安裝
原本應該用coursier安裝，方便管理scala版本等
但一開始CPU給太少，若想用coursier安裝：[指路](https://www.scala-lang.org/download/)
若CPU和教學剛開始設的一樣是4顆，咱就用wget直接安裝
```
wget https://github.com/scala/scala3/releases/download/3.3.6/scala3-3.3.6.tar.gz
sudo tar -zxvf scala3-3.3.6.tar.gz
sudo mv scala3-3.3.6 /usr/local/scala
```
* **設定~/.bashrc**
```
sudo nano ~/.bashrc
```
在最下方加上：
```
#Scala Variables
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
#Scala Variables
```
```
source ~/.bashrc
```
### 安裝Spark
```
wget https://archive.apache.org/dist/spark/spark-3.4.1/spark-3.4.1-bin-hadoop3.tgz
sudo tar -zxvf spark-3.4.1-bin-hadoop3.tgz
sudo mv spark-3.4.1-bin-hadoop3 /usr/local/spark/
```
* **設定~/.bashrc**
```
sudo nano ~/.bashrc
```
在最下方加上：
```
#Spark Variables
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
#Spark Variables
```
```
source ~/.bashrc
```
### 啟動Scala
```
scala
```
測試與退出pyspark
### 啟動python spark
```
pyspark
```
測試與退出pyspark
* **設定pyspark 減少顯示log訊息**
```
cd /usr/local/spark/conf
cp log4j2.properties.template log4j2.properties
sudo nano log4j2.properties
```
將info
修改成warn
### 以測試Word Count測試 Spark功能
```
mkdir -p ~/wordcount/input
cp /usr/local/hadoop/LICENSE.txt ~/wordcount/input
ll ~/wordcount/input
```
如果沒啟動Hadoop Multi-Node Cluster，記得這裡要啟動
```
hadoop fs -mkdir -p /user/user/wordcount/input
cd ~/wordcount/input
hadoop fs -copyFromLocal LICENSE.txt /user/user/wordcount/input
hadoop fs -ls /user/user/wordcount/input
```
```
pyspark --master local[*]
sc.master
textFile=sc.textFile("file:/usr/local/spark/README.md")
textFile.count()
```
換成讀取HDFS檔案
```
textFile=sc.textFile("hdfs://masterNV:9000/user/user/wordcount/input/LICENSE.txt")
textFile.count()
exit()
```
### 在Hadoop YARN執行pyspark
```
HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client
sc.master
```
```
textFile=sc.textFile("hdfs://masterNV:9000/user/user/wordcount/input/LICENSE.txt")
textFile.count()
```
查看PySparkShell App：
http://localhost:8088
### 建置Spark standalone cluster
上一章節記得exit()
```
cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh
sudo nano /usr/local/spark/conf/spark-env.sh
```
在最下方加上：
```
export SPARK_MASTER_IP=masterNV
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=2048m
export SPARK_EXECUTOR_INSTANCES=4
```
1. 設定masterNV IP或伺服器名
2. 每個worker的CPU使用數量，不建議設成虛擬機的全部核心，要預留系統開銷
3. Worker節點可分配的記憶體大小
4. 執行個體數：例，3個 Worker，各2核 → 總共6核，可以設 3～4 個 executors
* **將masterNV 的Spark 複製到dataNV1、2、3**
以dataNV1為例：
```
ssh dataNV1
sudo mkdir /usr/local/spark
sudo chown user:user /usr/local/spark
exit
sudo scp -r /usr/local/spark user@dataNV1:/usr/local
```
再重複操作dataNV2、3，記得注意命令中該修改的hostname和帳號名
* **修改workers檔案**
```
sudo nano /usr/local/spark/conf/workers
```
增加：
```
dataNV1
dataNV2
dataNV3
```
啟動Spark standalone cluster
```
/usr/local/spark/sbin/start-master.sh
/usr/local/spark/sbin/start-workers.sh
```
```
pyspark --master spark://masterNV:7077 --num-executors 1 --total-executor-cores 3 --executor-memory 512m
sc.master
```
測試：
```
textFile=sc.textFile("file:/usr/local/spark/README.md")
textFile.count()
textFile=sc.textFile("hdfs://masterNV:9000/user/user/wordcount/input/LICENSE.txt")
textFile.count()
```
查看：
http://masternv:8080/
停止：
```
/usr/local/spark/sbin/stop-all.sh
```
## 在Jupyter Notebook 執行Spark
### 安裝Anaconda
```
wget https://repo.anaconda.com/archive/Anaconda3-2023.03-0-Linux-x86_64.sh
bash Anaconda3-2023.03-0-Linux-x86_64.sh -b
```
* **修改~/.bashrc**
```
sudo nano ~/.bashrc
```
在下方加入：
```
# Anaconda Variables
export PATH=/home/user/anaconda3/bin:$PATH
export ANACONDA_PATH=/home/user/anaconda3
export PYSPARK_DRIVER_PYTHON=$ANACONDA_PATH/bin/jupyter
export PYSPARK_PYTHON=$ANACONDA_PATH/bin/python
# Anaconda Variables
```
```
source ~/.bashrc
```
若要以cluster執行Spark，在dataNV1、2、3也需重複以上動作安裝並設置Anaconda。
查看Python版本：
```
python --version
```
* **建立Jupyter**
```
mkdir -p ~/pythonwork/ipynotebook
cd ~/pythonwork/ipynotebook
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
```
會自動開啟Jupyter Notebook
新增Notebook：
修改Notebook名稱：
**在Jupyter Notebook執行pyspark**
```
sc.master
textFile=sc.textFile("file:/usr/local/spark/README.md")
textFile.count()
```
```
textFile=sc.textFile("hdfs://masterNV:9000/user/user/wordcount/input/LICENSE.txt")
textFile.count()
```
記得先啟動cluster
要跳出按ctrl+c
* **在hadoop yarnclient模式執行**
同樣切換到工作目錄 ~/pythonwork/ipynotebook
```
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client
```
* **在Spark Stand Alone模式執行**
```
/usr/local/spark/sbin/start-master.sh
/usr/local/spark/sbin/start-workers.sh
```
```
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master spark://masterNV:7077 --num-executors 1 --total-executor-cores 3 --executor-memory 512m
```
---
結束~~