###### tags: `Hadoop`
# CDH 部署步驟

:information_source: 何謂CDH: **Apache Hadoop 雖然部署容易並輕盈，不過當所需組件越來越多時，各生態系組件依賴及管理監理就顯得相對困難，所以Cloudera 就開發 CDH(Cloudera's Distribution Including Apache Hadoop)將整個Hadoop 生態系都進行包裝並且這也是開源的唷～～**

:+1: 使用圖型化介面管理及監控更方便，且修改參數更佳容易

:::danger
注意事項
**叢集及單機版部署操作方式都類似，CDH都很Nice幫你包裝並且分配好**
1. 範例使用Google GCP 上創建 5個 VM
2. 範例使用版本為 CentOS 7
3. 範例每一個VM使用 8 Cores (含超執行緒)，16G RAN，HDD 60G
4. 範例CDH 使用版本為 6.3
5. **Linux 版本、硬體配置或是CDH版本都可以自行選定及設定**
6. 注：GCP CentOS7 本身就配置 NTP軟體並指向Google NTP伺服器，所以不用在配置，如使用其他環境沒有NTP，請務必要配置
:::
:information_source: **詳細硬體需求、各主流Linux版本部署方式、不同CDH版本詳細介紹都可以[參閱Cloudera官方網站](https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_hardware_requirements.html)~~**

:information_source: **推薦使用三大公有雲(都有免費使用方案):**
1.推薦Google GCP上實作，最簡單且直覺，最重要的是伺服器地區有台灣(網速非常快)
2.AWS EC2會執行到進階設定稍微複雜些
3.微軟 Azure 違反人性介面操作..

* 三大公有雲( [GCP](https://hackmd.io/@JeffWen/gcp-vm)、[EC2](https://hackmd.io/@JeffWen/aws-vm)、[Azure](https://hackmd.io/3ud2dx4USCqP5rln80NGHw) )建立VM方式請參閱~~

* Linux版本
CentOS Linux release 7.8.2003 (Core)

* 安裝openjdk
* openjdk版本
* 設定JAVA_HOME

* 停用防火牆
:warning: 請注意，該部署CDH均開通port為內部網路，外部網路一定要配置防火牆！！！不然會有8088 port 被挖礦攻擊
* 停用selinux
* 設定台灣時區
* 使用google時間伺服器
:information_source: 只有GCP 可以使用Google時間伺服器～～，其餘方式請使用其他時間伺服器
* 設定root密碼
:information_source: 設定完無密碼登入就不使用root管理
* 修改ssh設定
* 修改ssh設定
* 重啟ssh
* Disabling Transparent Hugepages 等其它設定

echo 0 >/proc/sys/vm/swappiness
echo "vm.swappiness=0" >> /etc/sysctl.conf
echo "echo 0 > /proc/sys/vm/swappiness" >> /etc/rc.d/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo "* soft nofile 128000" >> /etc/security/limits.conf
echo "* hard nofile 128000" >> /etc/security/limits.conf
echo "* soft nproc 128000" >> /etc/security/limits.conf
echo "* hard nproc 128000" >> /etc/security/limits.conf
ulimit -SHn 128000
ulimit -SHu 128000

* 設定hosts清單
* 導入mysql 5.7 倉庫
* 安裝mysql
* 啟動mysql
* 顯示隨機產生root密碼

cat /var/log/mysqld.log | grep 'password'

* 以root登入mysql
* 生態系帳號及登入方式

/* 設定帳密及資料庫範例 */
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive12345678';
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive12345678;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

:information_source: 官方建議生態系之資料庫帳號

----
###### 導入CM

* 導入CM倉庫
* 安裝CM

---
###### 自選版

https://archive.cloudera.com/cm6/
* 手動下載CM版本
* 安裝CM

wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum localinstall -y cloudera-manager-server*
yum localinstall -y cloudera-manager-daemons*

---

* 下載mysql connector

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
tar zxvf mysql-connector-java-5.1.46.tar.gz
mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

* CM 掛載至mysql

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm # scm 可以自行修改想要掛載mysql的帳密,該帳號要在mysql要有專屬的database
# /opt/cloudera/cm/schema/scm_prepare_database.sh <databaseType> <databaseName> <databaseUser>

* 啟動 cdh 伺服器
:information_source: 7180 port監聽中，代表可以登入CM伺服器

---

* 至瀏覽器輸入CM伺服器 IP( Hostname ) + 7180
ex. 192.168.1.1:7180 or Hostname:7180
:warning: 如果使用三大公有雲部屬，請記得在防火牆規則開啟7180
:warning: 請注意千萬不要把8088 port 開放到所有IP，請限定IP開放!!!

* 登入帳密預設admin
* 歡迎畫面
* 點選同意license

* 選擇所需的版本
* 點選下一步
* 建立叢集名稱
* 依據hosts清單搜尋機器
:information_source: hosts參考
* 選擇CM代理器倉庫及CDH版本
:::success
1. 區分本地倉庫及公共倉庫，公共倉庫將至網路上下載再分發到各個節結點；本地倉庫由本地先下載完開設伺服器分送給其他節結點。
2. 如果節點數不多，建議先行下載安裝以節省時間。
3. [本地倉庫使用方式(官網)](https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_create_local_package_repo.html)
:::
* 建議使用openjdk
:information_source: Java版本一覽表
* 叢集無密碼登入設定
:::warning
1. SSH設定要確認開啟root登入
:information_source: 只有在部署期間需要root，部署結束後每一個組件都有專屬的帳號做管理唷～～～
:::

* 各節點安裝代理器
* 各節點分發及啟動CDH
* 叢集檢查
:::danger
1. Disabling Transparent Hugepages
2. Disable the tuned Service
3. Setting the vm.swappiness Linux Kernel Parameter
:::
* 客製化叢集生態系
* 依所需自訂
:information_source: HA: 2(master)+3(worker)，建議zookeeper配置於worker
* 設定生態系套件所需metadata資料庫
:information_source: 官方建議資料庫名稱及帳號配置
* 設定完會執行第一次啟動(NameNode format，建立hadoop生態系帳號等等..)
* 部署完成（再依需求修改各生態系參數)

---

#### Pi 程式測試方式

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 30

### 附錄－HA配置

#### NameNode HA
* Zookeeper及JournalNode配置為奇數
:information_source: Jns用來寫入edits日誌至standby Namenode
:information_source: Zp用來實作automatic failover
:::danger
Apache Hadoop官網： There must be at least 3 JournalNode daemons, since edit log modifications must be written to a majority of JNs. This will allow the system to tolerate the failure of a single machine. You may also run more than 3 JournalNodes, but in order to actually increase the number of failures the system can tolerate, you should run an odd number of JNs, (i.e. 3, 5, 7, etc.). Note that when running with N JournalNodes, the system can tolerate at most (N - 1) / 2 failures and continue to function normally.
:::

1. 啟動HDFS HA
2. 建立Nameservice name
3. 選擇Standby Namenode 及 JournalNode 節點
:information_source: 配置參考
4. 設定寫入日誌路徑、啟動automatic failover、分享日誌
5. 執行設定

#### ResourceManager HA
1. 啟動Yarn HA
2. 選擇Standby Resourcemanager
3. 執行設定

### 附錄-單機版部署注意事項

1. 部署完畢後將 hdfs 的 dfs.replication 改為 1 並重新啟動


2. 重新啟動後 sudo -u hdfs hadoop fs -setrep -w 1 -R /
:information_source: 把所有目錄中原本預設3個副本數都改成 1 個