# Hitachi Vantara Storage 探險 - Part 1: 硬體安裝 ###### tags: `hds` [toc] 最近同事有機會借側 Hitachi Vantara 存儲系統，除了存儲設備外，也包含了 SVP(Service Processor) 硬體和一台配備 HBA 的 ESXi 伺服主機。剛好機房的 SAN 交換器也在家，所以就纏著同事們趁機了解一下傳統三層式架構的部署。 # 測試設備 ## Hitachi Virtual Storage Platform(VSP) 硬體 本次測試的存儲設備為 VSP G130，硬體相關資訊請參考以下原廠說明 - [**About Hitachi Virtual Storage Platform G130**](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/About_Your_System/VSP_G130_Hardware_(available_in_select_markets_in_APAC)/01_Overview) - [**Hardware components and specifications**](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/About_Your_System/VSP_G130_Hardware_(available_in_select_markets_in_APAC)/02_Hardware_components_and_specifications)。 <img width=640 src='https://i.imgur.com/Adn5mDt.png'><br> | 編號 | 說明 | | :-: | --- | | 1 | 控制器機箱（安裝前方面板）| | 2 | 控制器機箱（卸載前方面板）| :::info VSP G130 控制器機箱分成兩個機型： - Controller chassis with **small form-factor drive bays** (CBSS): 本次測試機種 - Controller chassis with **large form-factor drive bays** (CBSL) ::: ### 磁碟控制器 VSP G130 存儲系統搭配 2 組磁碟控制器。從左至右分別為控制器 1(CTL1)和控制器 2(CTL2)。 <img width=640 src='https://i.imgur.com/czCgrvV.png'> | 編號 | 名稱 | 說明 | | :-: | --- | --- | | 1 | Fibre Channel 埠 | 提供 FC 網路連接使用 | | 2 | Maintenance 埠 | 預設 IP 位址: 10.0.0.16/10.0.0.17 | | 3 | Management 埠 | 預設 IP 位址: 192.168.0.16/192.168.0.17 | | 4 | SAS 埠 | 擴展硬碟櫃 | :::info - 最初架構配置將伺服主機與存儲系統的 FC 網路對串連接。 - 因為後續有借到 SAN 交換器，就將上述 FC 線路全部連接至 SAN 交換器，這樣應該也是一般用戶配置的架構。 ::: ## Service Processor(SVP) 硬體 - SVP 是原廠預先安裝 Windows 10 Enterprise(64-bits) 作業系統的硬體裝置，可提供管理節點直接與**磁碟控制器(Disk Controller, DKC)** 連接，其中安裝存儲管理軟體 **Storage Navigator**。 - SVP 在 Ex00 系列後屬於 optional 出貨選項，可自行選擇將 Storage Navigator 安裝在實體伺服主機或虛擬機的 Windows 作業系統當中。 - **SVP3** (測試設備 ) ![](https://i.imgur.com/SEW9vmP.png) | 編號 | 名稱 | 說明 | | :-: | --- | --- | | 1 | HDMI | 未使用 | | 2 | USB | 未使用 | | 3 | LAN1 | 連接至維護管理電腦 [**Maintenance**] | | 4 | LAN2 | 連接至控制器1 (CTL1) [**Management**] | | 5 | LAN3 | 連接至控制器2 (CTL2) [**Management**] | | 6 | LAN4 | 連接管理網段 [**Management**] | | 7 | Link/Activity LED | 固定橘燈: 線路連接<br>閃爍橘燈: 網路流量 | | 8 | Speed LED | 黃燈: 1000Mbps, 綠燈: 100Mbps, 熄滅: 10Mbps | - **SVP** ![](https://i.imgur.com/qjikZtw.png) | 編號 | 名稱 | 說明 | | :-: | --- | --- | | 1 | LAN3 | 連接至磁碟控制器1 (DKC CTL1) [**Management**] | | 2 | LAN4 | 連接至磁碟控制器2 (DKC CTL2) [**Management**] | | 3 | LAN2 | 連接至維護管理電腦 [**Maintenance**] | | 4 | LAN1 | 連接管理網段 [**Management**] | :::warning 初始化配置階段，建議可將整個系統連接至 SVP 以便完成基礎設定。若完成初始化設置，可將連接至磁碟控制器的線路，連接至客戶端管理網路的交換器。 ::: :::info - [SVP3 硬體資訊](https://knowledge.hitachivantara.com/Documents/Storage/SVP/Service_Processor/SVP3_Technical_Reference/02_Hardware_description) - [SVP 硬體資訊](https://knowledge.hitachivantara.com/Documents/Storage/SVP/Service_Processor/SVP1_and_SVP2_Installation_and_Maintenance/02_Physical_SVP_(Windows_10_Enterprise)_hardware_description) - 最初連接的方式，會將存儲系統磁碟控制器的**管理網路直接串接**至 SVP 硬體指定的**管理埠**，將 SVP 硬體的網路埠視為 HUB 相互連接。 - 後續調整連接方式，將存儲系統及 SVP 硬體的管理網路界面都直接連接至配置管理網路的網路交換器，這應該也是一般客戶部署配置的架構。當然，也必須**配合管理網段修正預設的管理 IP 設定**。 - 之後會提到 SVP 軟體可安裝於 Windows 虛擬主機，也會採用上述提及的網路配置方式。 ::: ## 伺服主機和 VMware vSphere ESXi 7.0U3 ESXi 伺服主機安裝 vSphere 7.0U3 版本。 ![](https://i.imgur.com/m35NnRD.png) 配置 2-port HBA 介面卡，可透過 FC 架構連接存儲系統。 ![](https://i.imgur.com/sEmu1zr.png) :::info **HBA 資訊** | 介面卡名稱 | Port WWN | Node WWN| Driver | | --- | --- | --- | --- | | vmhba2 | 21:00:00:24:ff:20:3d:6e | 21:00:00:24:ff:20:3d:6e | qlnativefc | | vmhba3 | 21:00:00:24:ff:20:3d:6f | 21:00:00:24:ff:20:3d:6f | qlnativefc | ::: :::warning **注意** 從直接對接線路轉換至連接至 SAN 交換器，發現主機 HBA 所連接的 FC 埠似乎有問題。經過一連串的測試，從 **Manage** > **Hardware** > **PCI Devices** 清單中，發現 HBA 介面卡被設定程 **Passthrough 模式**，將其關閉並重啟主機，顯示以下狀態便可正常運作 HBA。 ![](https://i.imgur.com/hyjMcbX.png) 使用 **esxcli** 命令 **`esxcli storage core adapter list`**，可以顯示存儲介面卡資訊。 ![](https://i.imgur.com/KdQ9dNE.png) 使用 **esxcli** 命令 **`esxcli hardware pci pcipassthru list`** 可以確認介面卡是否有啟用 passthrough 功能。 ![](https://i.imgur.com/dlOYUwk.png) 使用 **`esxcli hardware pci pcipassthru set --device-id <device_id> --enable false`** 可以關閉指定 <device_id> 啟用該功能。 使用 **`esxcli device driver list`** 顯示介面卡驅動相關資訊。 ![](https://i.imgur.com/P895tAf.png) 使用 **`esxcli device aliad list`** 顯示介面卡別名資訊。 ![](https://i.imgur.com/2wiKFLJ.png) ::: [](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/About_Your_System/VSP_G130_Hardware_(available_in_select_markets_in_APAC)/02_Hardware_components_and_specifications#VSP_G130_controller_chassis) # 設備安裝及連線 要完成本次 HDS 存儲設備測試環境的基本安裝，可以參考以下官方安裝說明，完成設備置放及線路配置。另外設備安裝方式可區分為**有無 SVP 設備**的兩種方式。本次測試選用**搭配 SVP 設備進行配置**。 ## 管理網路 將 SVP 硬體、存儲系統二組磁碟控制器和伺服主機的管理網路埠，分別連接至管理網路交換器。 <img height=540 src='https://i.imgur.com/KQ2Nud3.png'> ## Fibre Channel 存儲網路 採用一般三層式架構進行部署。按照下圖接線方式將伺服主機和存儲系統磁碟控器，透過光纖線路連接至 SAN 交換器。其中 1A/3A（單數）屬於磁碟控制器 1(CTL1)，2A/4A（雙數）屬於磁碟控制器 2(CTL2)。 ![](https://i.imgur.com/Nb60vfO.png) 之後可以使用 **Maintenance Utility** 工具，**Hardware** - All Chassis** > **Chassis** > **View Port Status** 檢視界面狀態。 ![](https://i.imgur.com/Kf7atH5.png) 有關 SAN 交換器設定可以參考另一篇文章 :construction_worker:[[**使用命令進行 SAN 交換器基本設定**]](https://127.0.0.1):construction_worker:。 :::info **安裝資訊** - **Installing your VSP G130 storage system** [[英文]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/04_Installing_your_VSP_G130_storage_system), [[簡中]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/02_%E5%AE%89%E8%A3%85_VSP_G130_%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F) - **Installing your VSP G130 storage system that includes an SVP** [[英文]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-02-0x/Installation/03_Installing_your_VSP_G130_storage_system_that_includes_an_SVP), [[簡中]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/01_%E5%AE%89%E8%A3%85%E5%B8%A6%E6%9C%89_SVP_%E7%9A%84_VSP_G130_%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F) ::: ## 裝機流程 根據以上部署經驗，一般設備裝機部署可參考下列流程完成。 1. 確認機櫃順序 2. 確認硬碟排列 3. (選項) 多櫃 SAS/ENC 纜線連接 4. 電力線路連接 5. 光纖（Fibre）線路連接 6. 網路線路連接 - 有 SVP 設備: 連接維運（Maintenance）網路，10.0.0.0/24 - 無 SVP 設備: 連接管理（Management）網路，192.168.0.0/24 7. 開機設定 # 網路配置 完成實體設備及線路連接後，可根據預設配置的 IP 資訊，將要執行設定筆電的網路，設定成 **10.0.0.1 (Maintenance)** 或 **192.168.0.18 (Management)**。全新安裝或初始化存儲，一般建議採用**維運網路(Maintenance Network)**，通常也不太會調整維運網段。 將設定筆電的 IP 位址配置於 10.0.0.x，並將其與 HDS 存儲系統透過 Hub/Switch 串接在同一的維運網路，使用下列預設 IP 配置資訊，進行存儲系統相關登入測試。 ## 預設 IP 配置與帳號資訊 | 設備 | Maintenance | Management | 連線方式 | | --- | --- | --- | --- | | SVP | 10.0.0.100/24 | 192.168.0.15/24 | **遠端桌面** | | DKC-CTL1 | 10.0.0.16/24 | 192.168.0.16/24 | 網頁瀏覽器 | | DKC-CTL2 | 10.0.0.17/24 | 192.168.0.17/24 | 網頁瀏覽器 | | 設備 | 帳號 | 密碼 | | --- | --- | --- | | SVP | SVP-PC\SVP | $VPdkc<設備序號轉換 16 進制> | | DKC-CTL1 | maintenance | $VPdkc<設備序號轉換 16 進制> | | DKC-CTL2 | maintenance | $VPdkc<設備序號轉換 16 進制> | :::warning - 設備序號可從存儲設備上標籤貼紙取得，測試設備為一組 6 位數字編號。 - 預設密碼應從 **`raid-maintenance`** 修改為 **`$VPdkc<設備序號轉換 16 進制>`** - 轉換密碼若有**英文字母請改用大寫**。 ::: :::info 若是使用 Linux 作業系統，要進行 **16 進制轉換**，可以用以下命令轉換。 ```bash $ printf '%x\n' <serial_number> | tr 'a-z' 'A-Z' ``` ::: # 系統管理架構 Hitachi 系統管理將涉及**初始化配置**及**存儲設備設定**，其中也包含**用戶管理**、**軟體授權**和**日誌紀錄**。存儲設備支援多種系統管理的工具： - 嵌入存儲系統控制器 - 出廠安裝選購服務處理器 - 安裝於伺服主機的管理軟體 下圖示存儲系統管理軟體架構： ![](https://i.imgur.com/TSMvB3v.png) 本次測試將會使用: - **Maintenance Utility** - **Hitachi Storage Advisor Embedded (HSAE)** - **Hitachi Device Manager-Storage Navigator (HDvM-SN)**: 可安裝在 Windows 虛擬主機。測試環境提供原廠配置的**服務處理器(Service Processor, SVP)**。 [](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/About_Your_System/Product_Overview/Management_architecture) ## Maintenance Utility 主要管理 Storage的基本組態、授權管理、硬體新增移除更換、使用者管理、監控告警等維護作業，<font color=red>**無法進行磁碟空間配置作業**</font>。 ![](https://i.imgur.com/Zv6ANBu.png) ### 連線方式 - 連線磁碟控制器的 maintenance port(10.0.0.16|10.0.0.17)。 <img width=480 src='https://i.imgur.com/Sc4aZOa.png'> - 在 Device Manager-Storage Navigator 上方選單的 Maintenance Utility。 <img width=640 src='https://i.imgur.com/cvJMiaN.png'> - 在 Storage Advisor Embedded(HASE) 右上方狀態點擊設定(齒輪)，選擇 Maintenance Utility。 <img width=720 src='https://i.imgur.com/pYsplaZ.png'> - 在瀏覽器中輸入 **`https://<磁碟控制器管理 IP 位址>/MaintenanceUtility/`**。 ## Hitachi Storage Advisor Embedded(HSAE) 原廠為精簡存儲系統組態，將 Pool、Volume、Host Group 等基礎設定直接嵌入磁碟控制器當中，提昇使用者管理效能。 ![](https://i.imgur.com/Pd61nnC.png) ### 連線方式 只要透過網頁瀏覽器，輸入控制器設定的 IP 位址就可連線使用。 ![](https://i.imgur.com/tm2XWLv.png) ## SVP 軟體: Device Manager - Storage Navigator 軟體功能與 HSAE 接近，安裝在 SVP 硬體上的管理設定軟體，可以對存儲系統做更精細配置操作。其實 SVP 硬體就是原廠預先配置 SVP 軟體的 Windows 硬體主機。**SVP 軟體目前僅提供 Windows 系統平台**。 ![](https://i.imgur.com/10WyqQX.png) ![](https://i.imgur.com/seQvK8C.png) ### 連線方式 就像先前提到的，客戶也可以選擇在自有的 Windows 虛擬主機中安裝 SVP 軟體。所以**連線 SVP 軟體需要使用遠端桌面軟體**登入 Windows 系統開啟 SVP 軟體。 ![](https://i.imgur.com/XZqoMyM.png) 詳細資訊可以參考 [[**Hitachi Vantara Storage 探險 - Part 2: SVP 軟體安裝設定**]](https://hackmd.io/@farmer87/hds_learning_02)。 # 調整管理網路 為了後續設定便利性，可根據部署環境調整預設的**管理 IP 配置**。建議**維運網路(maintenance network)** 不要變更，可作為配置備援網路使用。 ## 調整 IP 資訊 | 設備 | Maintenance | Management | 連線方式 | | --- | --- | --- | --- | | SVP | 10.0.0.100/24 | 10.7.155.90/24 | **遠端桌面** | | DKC-CTL1 | 10.0.0.16/24 | 10.7.155.91/24 | 網頁瀏覽器 | | DKC-CTL2 | 10.0.0.17/24 | 10.7.155.92/24 | 網頁瀏覽器 | | ESXi | - | 10.7.155.93/24 | 網頁瀏覽器/SSH | :::info 登入 SVP 軟體需要透過**遠端桌面軟體**連線 Windows 作業系統。 ::: | 設備 | 帳號 | 密碼 | | --- | --- | --- | | SVP | SVP-PC\SVP | $VPdkc<serial_number> | | DKC-CTL1 | maintenance | $VPdkc<serial_number> | | DKC-CTL2 | maintenance | $VPdkc<serial_number> | | ESXi | root | P@ssw0rd | :::info 若採用原廠配置 SVP 硬體，遠端桌面登入帳號請使用預設資訊。若是自行透過虛擬主機安裝 SVP 軟體，則改用安裝的 Windows 使用者帳號登入。 ::: ## SVP 硬體 基本上就是透過遠端桌面登入 Windows 作業系統，修改系統的網路配置，相信大家應該都比我熟練多了！ - 遠端桌面至 SVP 硬體或是安裝 SVP 軟體的 Windows 虛擬主機。 ![](https://i.imgur.com/1hZcDZd.png) - 以下就是一般 Windows 作業系統修改 IP 資訊的程序，就不加贅述了。 ![](https://i.imgur.com/wyylua7.png) ![](https://i.imgur.com/Ujprp4x.png) ![](https://i.imgur.com/RjkGasM.png) ![](https://i.imgur.com/q6uBLSg.png) ![](https://i.imgur.com/pP23HhL.png) ![](https://i.imgur.com/kvjHZAe.png) ## SVP 軟體 遠端桌面登入 SVP 硬體或安裝 SVP 軟體的 Windows 虛擬主機，啟動 **Storage Device List**。 ![](https://i.imgur.com/OomNFzO.png) 若 SVP 硬體或 Windows 虛擬主機的 IP 位址已經變更，而非預設 **192.168.0.15**。可點選右上方 **SVP IP Address** 進行變更。 ![](https://i.imgur.com/S8Z7tJ8.png) 輸入正確的 IP 位址，點選 **`Apply`** 套用設定。 ![](https://i.imgur.com/GjIGF2j.png) ## 存儲系統控制器 要變更磁碟控制器的 IP 位址，使用**維運網路埠(maintenance port)**，透過網頁連覽器連線控制器的 IP 位址開啟 **Maintenance Utility**，應該是最簡單直接的方式。 使用瀏覽器輸入控制器 IP 位址 10.0.0.16（CTL1）或 10.0.0.17（CTL2）進入 Maintenance Utility。點擊左側功能面板 **Administration** > **Networking Settings**，選擇中間資訊欄位上方的 **Set Up Network Settings**，根據實際部署環境修改所需的 IP 位址相關資訊。確認輸入資訊後，點擊右下方 **Apply** 套用組態。 ![](https://i.imgur.com/igL5g7d.png) 使用磁碟控制器調整過後的 IP 位址連線 **Storage Advisor Embedded(HSAE)** 並登入確認，完成控制器管理 IP 組態調整。 ![](https://i.imgur.com/Ad5wmZV.png) ## ESXi 管理界面 vmk0 因為測試取得的 ESXi 服務主機，也沒有提供設定管理 IP 位址(vmk0)，所以先用外接螢幕獲得該主機 IP 資訊，再透過瀏覽器登入 ESXi 主機，確認 root 登入帳號資訊無誤。 因為該 ESXi 主機為單一主機，並未被 vCenter Server 管理，使用 GUI 界面要變更管理界面 vmk0 需要點擊多次才能完成。所以參考 [[**VMware KB#2084629**]](https://kb.vmware.com/s/article/2084629) 可以進行管理界面（VMkernel）的 IP 調整。 不管使用哪種方式，都要先確認 ESXi 主機啟用 SSH 連線服務。 ![](https://i.imgur.com/EXlx9u4.png) 使用 SSH 連線並正確登入 ESXi 主機，命令提示字元輸入 **dcui**。 ![](https://i.imgur.com/NlzLA7e.png) 開啟 **Direct Console User Interface** 就可以輕易變更網路配置。 ![](https://i.imgur.com/1zX4U5o.png) 或是使用以下命令進行變更。 ```bash! esxcli network ip interface ipv4 set –-interface vmk0 --type static –-gateway 10.7.155.254 --ipv4 10.7.155.93 --netmask 255.255.255.0 ``` 使用以下確認 IP 組態。 ```bash esxcli network ip interface ipv4 get Name IPv4 Address IPv4 Netmask IPv4 Broadcast Address Type Gateway DHCP DNS ---- ------------ ------------- -------------- ------------ ------------ -------- vmk0 10.7.155.93 255.255.255.0 10.7.155.255 STATIC 10.7.155.254 false ``` --- 就這樣完成簡易測試架構部署，接著[**淺入 SVP 軟體**](https://hackmd.io/@farmer87/hds_learning_02)吧！ ## 參考 - Installing your VSP G130 storage system [[英文]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/04_Installing_your_VSP_G130_storage_system), [[簡中]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/02_%E5%AE%89%E8%A3%85_VSP_G130_%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F) - Installing your VSP G130 storage system that includes an SVP [[英文]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-02-0x/Installation/03_Installing_your_VSP_G130_storage_system_that_includes_an_SVP), [[簡中]](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-03-0x/Installation/01_%E5%AE%89%E8%A3%85%E5%B8%A6%E6%9C%89_SVP_%E7%9A%84_VSP_G130_%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F) - [Management architecture](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-07-0x/About_Your_System/Product_Overview/Management_architecture) - [Product Documentation](https://knowledge.hitachivantara.com/Documents) - [VSP G130 G/F350 G/F370 G/F700 G/F900](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900) - [Installation](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/Installation) - [System Management with SVP](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/System_Management_with_SVP) - [System Management Using Embedded Interfaces](https://knowledge.hitachivantara.com/Documents/Storage/VSP_G130_GF350_GF370_GF700_GF900/88-08-0x/System_Management_Using_Embedded_Interfaces)