HackMD - Collaborative Markdown Knowledge Base

clusterの種別(zonal/regional, private)、node、node pool、auto repair、horizontal/vertical auto scaling、cluster upgradeあたり ## クラスタ構成について以下、GKEで作成可能なクラスタ構成について説明します。ここでの構成の選択肢はクラスタの作成後に変更ができないので注意が必要です。このまとめはGKEの[説明記事](https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters)に沿っています。 ## クラスタの管理レベル GKEクラスタの構成の前に、クラスタに必要な柔軟性、権限、管理のレベルを理解することが重要です。必要とする管理レベルによって、GKE で使用する運用モードと、作成する必要があるクラスタ構成が決まります。 ## 運用モード GKEでクラスタを作成する場合は、2つの運用モードのどちらかを使用します。 - Autopilot - 完全にプロビジョニングされたマネージドクラスタ構成が提供されます。Autopilotモードで作成されたクラスタには、クラスタ構成オプションが自動的に作成されます。Autopilotクラスタは、本番環境ワークロードに対応する最適化されたクラスタ構成を使用してあらかじめ構成されています。 - AutoPilotの詳細についてはこちらで説明があります。 - Standard - クラスタの基盤となるインフラストラクチャに高度な構成の柔軟性を提供します。Standard モードを使用して作成されたクラスタでは、ユーザーが本番環境ワークロードに必要な構成を決定します。（ここの説明はもっとわかりやすくできるはず） ## クラスタ構成の選択肢選択した運用モードに基づいて、クラスタに必要な構成を選択します。 Autopilot モードでは、ほとんどの選択肢が自動的に選択されます。Standard モードでは、ユーザーが本番環境ワークロードに最適な構成を選択する必要があります。クラスタのタイプ https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters#zonal_clusters ## クラスタの可用性タイプ GKE では、ワークロードの可用性要件と予算に合わせてクラスタを作成できます。使用可能なクラスタのタイプには、ゾーン（シングルゾーンまたはマルチゾーン）とリージョンがあります。 ## クラスタの管理レベル必要とする管理レベルによってGKEで使用する運用モーと作成する必要があるクラスタ構成が決まります。 ## 二つの運用モード - autopilot - 完全にプロビジョニングされたマネージドクラスタ構成を提供します。 Autopilotモードで作成されたクラスタにはクラスタ構成オプションが自動的に作成されます。Autopilotクラスタは本番環境ワークロードに対応する最適化されたクラスタ構成を使用してあらかじめ構成されています。 - Standard - クラスタの基盤となるインフラストラクチャに高度な構成の柔軟性を提供します。Standard モードを使用して作成されたクラスタでは、ユーザーが本番環境ワークロードに必要な構成を決定します。 ## クラスタ - リージョンクラスタ - リージョンクラスタには特定のリージョン内の複数ゾーンで動作する複数のレプリカレプリカが含まれています。 - リージョンクラスタ内のノードは構成されたノードのロケーションに応じて複数のゾーンまたは単一ゾーンで実行できます。 - デフォルトではGKEは各ノードプールをコントロールプレーンのリージョンの３つのゾーンに複製します。 - クラスタを作成する時や新しいノードプールを追加するときにクラスタのノードが実行されるゾーンを指定してデフォルト設定を変更できます。 - ゾーンクラスタ -　ゾーンクラスタには、1 つのゾーン内に 1 つのコントロールプレーンが含まれています。可用性の要件に応じて、ゾーンクラスタのノードを単一のゾーンに分散するか、複数のゾーンに分散するかを選択できます。 -　コントロールプレーンは一つで単一のゾーンにしか存在しないため、ゾーン障害に弱い上、マスターのアップデート時にダウンタイムが発生してしまう問題があります。シングルゾーンクラスタシングルゾーンクラスタには、1 つのゾーンで動作する 1 つのコントロールプレーンが含まれています。このコントロールプレーンは、同じゾーンで動作するノード上のワークロードを管理します。マルチゾーンクラスタマルチゾーンクラスタには、1 つのゾーンで動作するコントロールプレーンの 1 つのレプリカと、複数のゾーンで動作する複数のノードが含まれています。クラスタのアップグレード中や、コントロールプレーンが動作するゾーンの停止中にも、ワークロードは動作を継続します。ただし、コントロールプレーンが使用可能になるまでは、クラスタや、その中にあるノードとワークロードを設定できません。マルチゾーンクラスタでは、可用性とコストのバランスをとりながら一貫したワークロードが実現されます。ノードとノードプールの数が頻繁に変化するような環境で、可用性を維持する必要がある場合は、リージョンクラスタの使用を検討してください。リージョンクラスタリージョンクラスタには、特定の 1 リージョン内の複数ゾーンで動作する複数のレプリカが含まれています。リージョンクラスタ内のノードは、構成されたノードのロケーションに応じて、複数のゾーンまたは単一ゾーンで実行できます。デフォルトでは、GKE は各ノードプールをコントロールプレーンのリージョンの 3 つのゾーンに複製します。クラスタを作成するときや新しいノードプールを追加するときに、クラスタのノードが実行されるゾーンを指定してデフォルト構成を変更できます。すべてのゾーンは、コントロールプレーンと同じリージョン内に存在する必要があります。本番環境ワークロードを実行するには、リージョンクラスタを使用します。リージョンクラスタの方がゾーンクラスタと比較して可用性に優れているためです。 Standard モードでリージョンクラスタを作成するには、リージョンクラスタの作成をご覧ください。 Autopilot モードでリージョンクラスタを作成するには、Autopilot クラスタの作成をご覧ください。 https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters A multi-zonal cluster's nodes run in multiple zones, but it has only a single replica of the control plane. If you need higher availability for the control plane, consider creating a regional cluster instead. In a regional cluster, the control plane is replicated across multiple zones in a region. https://nokok.hatenablog.com/entry/2017/12/20/000043 ## クラスタネットワーク GKE クラスタを作成するときに、ネットワークルーティングモードとクラスタネットワークの分離方法を指定できます。 ## VPC ネイティブクラスタとルートベースクラスタ Google Kubernetes Engine では、ある Pod から別の Pod にトラフィックをルーティングする方法によってクラスタを区別できます。エイリアス IP を使用するクラスタは、VPC ネイティブクラスタと呼ばれています。Google Cloud のルートを使用するクラスタは、ルートベースクラスタと呼ばれています。新しいクラスタに推奨されるネットワークモードは VPC ネイティブです。これは、Autopilot モードで作成されるクラスタのデフォルトでもあります。 Standard モードで作成されたクラスタの場合、デフォルトのネットワークモードは、GKE のバージョンと、クラスタを作成する方法によって異なります。詳細については、デフォルトのクラスタネットワークモードのグラフをご覧ください。 ### ネットワーク分離の選択肢デフォルトでは、パブリックネットワークからクラスタのワークロードへのアクセスを設定できます。ルートは自動的には作成されません。限定公開クラスタが Pod とノードに内部アドレスを割り当て、ワークロードがパブリックネットワークから完全に分離されます。限定公開クラスタを作成するには、限定公開クラスタの作成をご覧ください。 ### Kubernetes の機能 Kubernetes の新機能は、開発状況に応じてアルファ版、ベータ版、安定版のいずれかで示されます。ほとんどの場合、ベータ版または安定版として表示された Kubernetes 機能が GKE に同梱されます。Kubernetes アルファ版の機能は、特別な GKE アルファクラスタで使用できます。注: アルファ版機能は、Autopilot モードで作成されたクラスタでは使用できません。 ### アルファクラスタアルファクラスタでは、すべての Kubernetes アルファ API（機能ゲートともいう）が有効になっています。アルファクラスタは、Kubernetes 機能の早期テストや検証に使用できます。アルファクラスタは本番環境ワークロードではサポートされず、アップグレードも行われません。また、30 日以内に期限が切れます。 Standard モードでアルファクラスタを作成するには、アルファクラスタの作成をご覧ください。 https://inthecloud.withgoogle.com/anthos-day-2001/Google_Cloud_Anthos_Day_200130_Session8.pdf https://qiita.com/sonots/items/f82912367693d717ff06 https://qiita.com/ishishow#:~:text=Kubernetes%20Casual%20Talk%20%E3%80%9CUbie%E3%80%81CA%E3%80%81%E3%83%A1%E3%83%AB%E3%83%9A%E3%82%A4%E3%82%92%E8%A6%8B%E3%81%9F%E3%83%A1%E3%83%A2 ```shell # Create container gcloud beta container --project "プロジェクト名" clusters create "クラスタ名" --zone "" --no-enable-basic-auth --cluster-version "バージョン" --release-channel "None" --machine-type "マシンスペック" --image-type "COS_CONTAINERD" --disk-type "pd-standard" --disk-size "100" --metadata disable-legacy-endpoints=true --scopes "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append" --max-pods-per-node "110" --num-nodes "ノードの数" --logging=SYSTEM,WORKLOAD --monitoring=SYSTEM --enable-ip-alias --network "projects/dena-opfsys-as-gcp/global/networks/default" --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default" --no-enable-intra-node-visibility --default-max-pods-per-node "110" --no-enable-master-authorized-networks --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver --enable-autoupgrade --enable-autorepair --max-surge-upgrade 1 --max-unavailable-upgrade 0 --enable-shielded-nodes --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c" ``` 上記たくさん設定があってややこしいと思いますが、![スクリーンショット 2021-10-11 16.39.02](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.39.02.png)画像右下のCOMMAND LINEを選択すると、コマンドが表示されるのでそこから取得すると便利です。 ![スクリーンショット 2021-10-11 16.40.48](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.40.48.png) また、もちろんコンソール上からでも作成できます。 ![スクリーンショット 2021-10-11 16.42.54](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.42.54.png) ロケーションタイプをZonal,Regionalそれぞれ選択したクラスタを作成します。 ```shell # zonal gcloud beta container --project "dena-opfsys-as-gcp" clusters create "testzonalcluster" --zone "asia-northeast1-a" --no-enable-basic-auth --cluster-version "1.20.10-gke.301" --release-channel "None" --machine-type "n1-standard-1" --image-type "COS_CONTAINERD" --disk-type "pd-standard" --disk-size "100" --metadata disable-legacy-endpoints=true --scopes "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append" --max-pods-per-node "110" --num-nodes "1" --logging=SYSTEM,WORKLOAD --monitoring=SYSTEM --enable-ip-alias --network "projects/dena-opfsys-as-gcp/global/networks/default" --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default" --no-enable-intra-node-visibility --default-max-pods-per-node "110" --no-enable-master-authorized-networks --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver --enable-autoupgrade --enable-autorepair --max-surge-upgrade 1 --max-unavailable-upgrade 0 --enable-shielded-nodes --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c" # regional gcloud beta container --project "dena-opfsys-as-gcp" clusters create "test-regional-cluster" --region "asia-northeast1" --no-enable-basic-auth --cluster-version "1.20.10-gke.301" --release-channel "None" --machine-type "n1-standard-1" --image-type "COS_CONTAINERD" --disk-type "pd-standard" --disk-size "100" --metadata disable-legacy-endpoints=true --scopes "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append" --max-pods-per-node "110" --num-nodes "1" --logging=SYSTEM,WORKLOAD --monitoring=SYSTEM --enable-ip-alias --network "projects/dena-opfsys-as-gcp/global/networks/default" --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default" --no-enable-intra-node-visibility --default-max-pods-per-node "110" --no-enable-master-authorized-networks --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver --enable-autoupgrade --enable-autorepair --max-surge-upgrade 1 --max-unavailable-upgrade 0 --enable-shielded-nodes --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c" ``` ![スクリーンショット 2021-10-11 16.46.06](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.46.06.png) 作成できました。次に今回はHelmを利用してWordpressを簡単に構築します。 ```shell ❯ helm repo add bitnami https://charts.bitnami.com/bitnami "bitnami" has been added to your repositories provide a name or specify --generate-name ❯ helm install bitnami/wordpress --generate-name ``` 上記をそれぞれのクラスタで実行し、WordPressをデプロイします。 accsess wordpress ```sh ＃サービスの取得 ❯ kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.41.240.1 <none> 443/TCP 140m wordpress-1633929471 LoadBalancer 10.41.255.237 XXXXXXXXXXXXXXXXXXXXX 80:32421/TCP,443:32410/TCP 4m32s wordpress-1633929471-mariadb ClusterIP 10.41.253.34 <none> 3306/TCP 4m32s ＃アドレスの取得(上記のExternalIPと同じ) ❯ echo $(kubectl get svc --namespace default wordpress-1633929471 -o jsonpath='{.status.loadBalancer.ingress[0].ip}') XXXXXXXXXXXXXXXXXXXX ``` アクセスして確認します。 ![スクリーンショット 2021-10-11 14.23.18](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 14.23.18.png) 構築されていました。 ### アップデート検証 Zonal,Regional二つのクラスタが構築できたので次はクラスタの更新を行いダウンタイムが起こるかの検証を行なっていきます。 #### Zonal Zonal ClusterでAutoscalingを有効化してみます。 ```shell gcloud container clusters update testzonalcluster --enable-autoscaling --min-nodes=1 --max-nodes=1 --zone "asia-northeast1-a" --node-pool default-pool ``` ![スクリーンショット 2021-10-11 15.24.46](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 15.24.55.png) ![スクリーンショット 2021-10-11 15.24.46](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 15.24.46.png) ![スクリーンショット 2021-10-11 12.29.41](/Users/sho.ishikawa/Desktop/スクリーンショット 2021-10-11 12.29.41.png) ![](https://i.imgur.com/AWoEyQP.png) ![](https://i.imgur.com/sktbpsu.png) ![](https://i.imgur.com/pZmkHwR.png) ![](https://i.imgur.com/smv9eNZ.png) ![](https://i.imgur.com/rtFE3Rv.png) ![](https://i.imgur.com/lDV0pGL.png) ![](https://i.imgur.com/Kc6UW55.png) ![](https://i.imgur.com/M1qTeZ5.png) https://qiita.com/Ladicle/items/5bb5a9b7fb18bd400682 https://www.wantedly.com/id/shou_ishikawa_g https://cyberagent.zoom.us/j/6822275835 https://blog.inductor.me/entry/2021/03/07/011811 https://speakerdeck.com/makocchi/lets-learn-about-gke-autopilot-gatekeeper-rego?slide=29 https://speakerdeck.com/makocchi/lets-learn-about-gke-autopilot-gatekeeper-rego?slide=29 https://tech.plaid.co.jp/google-cloud-day-digital-2021/ https://t.co/bEbB38srua?amp=1 https://t.co/OjMCTLWz6i?amp=1 https://t.co/hdM1Y61LJ1?amp=1 https://t.co/JCqSbTMgtf?amp=1 https://ahmet.im/blog/gke-autopilot/ https://opensource.googleblog.com/2021/11/expanding-google-summer-of-code-in-2022.html?m=1 ![](https://i.imgur.com/nhVWmu8.png) https://docs.google.com/presentation/d/1tITCK3m6LeHq71rB5gIlqk9SuLdBw9JHPQmXchWCW0s/edit?usp=sharing

Syntax	Example	Reference
# Header	Header	基本排版
- Unordered List	Unordered List
1. Ordered List	Ordered List
- [ ] Todo List	Todo List
> Blockquote	Blockquote
Bold font	Bold font
Italics font	Italics font
~~Strikethrough~~	~~Strikethrough~~
19^th^	19^th
H~2~O	H₂O
++Inserted text++	Inserted text
==Marked text==	Marked text
[link text](https:// "title")	Link
![image alt](https:// "title")	Image
`Code`	`Code`	在筆記中貼入程式碼
```javascript var i = 0; ```	`var i = 0;`
:smile:		Emoji list
{%youtube youtube_id %}	Externals
$L^aT_eX$	L^aT_eX
:::info This is a alert area. :::	This is a alert area.