---
# System prepended metadata

title: Untitled

---

clusterの種別(zonal/regional, private)、node、node pool、auto repair、horizontal/vertical auto scaling、cluster upgradeあたり

## クラスタ構成について
以下、GKEで作成可能なクラスタ構成について説明します。
ここでの構成の選択肢はクラスタの作成後に変更ができないので注意が必要です。
このまとめはGKEの[説明記事](https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters)に沿っています。

## クラスタの管理レベル
GKEクラスタの構成の前に、クラスタに必要な柔軟性、権限、管理のレベルを理解することが重要です。必要とする管理レベルによって、GKE で使用する運用モードと、作成する必要があるクラスタ構成が決まります。


## 運用モード
GKEでクラスタを作成する場合は、2つの運用モードのどちらかを使用します。

- Autopilot
    - 完全にプロビジョニングされたマネージドクラスタ構成が提供されます。Autopilotモードで作成されたクラスタには、クラスタ構成オプションが自動的に作成されます。Autopilotクラスタは、本番環境ワークロードに対応する最適化されたクラスタ構成を使用してあらかじめ構成されています。
    - AutoPilotの詳細についてはこちらで説明があります。

- Standard
    - クラスタの基盤となるインフラストラクチャに高度な構成の柔軟性を提供します。Standard モードを使用して作成されたクラスタでは、ユーザーが本番環境ワークロードに必要な構成を決定します。



（ここの説明はもっとわかりやすくできるはず）


## クラスタ構成の選択肢
選択した運用モードに基づいて、クラスタに必要な構成を選択します。
Autopilot モードでは、ほとんどの選択肢が自動的に選択されます。Standard モードでは、ユーザーが本番環境ワークロードに最適な構成を選択する必要があります。


クラスタのタイプ
https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters#zonal_clusters

## クラスタの可用性タイプ
GKE では、ワークロードの可用性要件と予算に合わせてクラスタを作成できます。使用可能なクラスタのタイプには、ゾーン（シングルゾーンまたはマルチゾーン）とリージョンがあります。

## クラスタの管理レベル
必要とする管理レベルによってGKEで使用する運用モーと作成する必要があるクラスタ構成が決まります。

## 二つの運用モード
- autopilot 
    - 完全にプロビジョニングされたマネージドクラスタ構成を提供します。 Autopilotモードで作成されたクラスタにはクラスタ構成オプションが自動的に作成されます。Autopilotクラスタは本番環境ワークロードに対応する最適化されたクラスタ構成を使用してあらかじめ構成されています。
- Standard
    - クラスタの基盤となるインフラストラクチャに高度な構成の柔軟性を提供します。Standard モードを使用して作成されたクラスタでは、ユーザーが本番環境ワークロードに必要な構成を決定します。

## クラスタ
- リージョンクラスタ
    - リージョンクラスタには特定のリージョン内の複数ゾーンで動作する複数のレプリカレプリカが含まれています。
    - リージョンクラスタ内のノードは構成されたノードのロケーションに応じて複数のゾーンまたは単一ゾーンで実行できます。
    - デフォルトではGKEは各ノードプールをコントロールプレーンのリージョンの３つのゾーンに複製します。
    - クラスタを作成する時や新しいノードプールを追加するときにクラスタのノードが実行されるゾーンを指定してデフォルト設定を変更できます。

- ゾーンクラスタ
    -　ゾーンクラスタには、1 つのゾーン内に 1 つのコントロール プレーンが含まれています。可用性の要件に応じて、ゾーンクラスタのノードを単一のゾーンに分散するか、複数のゾーンに分散するかを選択できます。
    -　コントロールプレーンは一つで単一のゾーンにしか存在しないため、ゾーン障害に弱い上、マスターのアップデート時にダウンタイムが発生してしまう問題があります。


シングルゾーン クラスタ
シングルゾーン クラスタには、1 つのゾーンで動作する 1 つのコントロール プレーンが含まれています。このコントロール プレーンは、同じゾーンで動作するノード上のワークロードを管理します。

マルチゾーン クラスタ
マルチゾーン クラスタには、1 つのゾーンで動作するコントロール プレーンの 1 つのレプリカと、複数のゾーンで動作する複数のノードが含まれています。クラスタのアップグレード中や、コントロール プレーンが動作するゾーンの停止中にも、ワークロードは動作を継続します。ただし、コントロール プレーンが使用可能になるまでは、クラスタや、その中にあるノードとワークロードを設定できません。マルチゾーン クラスタでは、可用性とコストのバランスをとりながら一貫したワークロードが実現されます。ノードとノードプールの数が頻繁に変化するような環境で、可用性を維持する必要がある場合は、リージョン クラスタの使用を検討してください。

リージョン クラスタ
リージョン クラスタには、特定の 1 リージョン内の複数ゾーンで動作する複数のレプリカが含まれています。リージョン クラスタ内のノードは、構成されたノードのロケーションに応じて、複数のゾーンまたは単一ゾーンで実行できます。デフォルトでは、GKE は各ノードプールをコントロール プレーンのリージョンの 3 つのゾーンに複製します。クラスタを作成するときや新しいノードプールを追加するときに、クラスタのノードが実行されるゾーンを指定してデフォルト構成を変更できます。すべてのゾーンは、コントロール プレーンと同じリージョン内に存在する必要があります。

本番環境ワークロードを実行するには、リージョン クラスタを使用します。リージョン クラスタの方がゾーンクラスタと比較して可用性に優れているためです。

Standard モードでリージョン クラスタを作成するには、リージョン クラスタの作成をご覧ください。

Autopilot モードでリージョン クラスタを作成するには、Autopilot クラスタの作成をご覧ください。

https://cloud.google.com/kubernetes-engine/docs/concepts/types-of-clusters

A multi-zonal cluster's nodes run in multiple zones, but it has only a single replica of the control plane. If you need higher availability for the control plane, consider creating a regional cluster instead. In a regional cluster, the control plane is replicated across multiple zones in a region.

https://nokok.hatenablog.com/entry/2017/12/20/000043

## クラスタ ネットワーク
GKE クラスタを作成するときに、ネットワーク ルーティング モードとクラスタ ネットワークの分離方法を指定できます。

## VPC ネイティブ クラスタとルートベース クラスタ
Google Kubernetes Engine では、ある Pod から別の Pod にトラフィックをルーティングする方法によってクラスタを区別できます。エイリアス IP を使用するクラスタは、VPC ネイティブ クラスタと呼ばれています。Google Cloud のルートを使用するクラスタは、ルートベース クラスタと呼ばれています。

新しいクラスタに推奨されるネットワーク モードは VPC ネイティブです。これは、Autopilot モードで作成されるクラスタのデフォルトでもあります。

Standard モードで作成されたクラスタの場合、デフォルトのネットワーク モードは、GKE のバージョンと、クラスタを作成する方法によって異なります。

詳細については、デフォルトのクラスタ ネットワーク モードのグラフをご覧ください。

### ネットワーク分離の選択肢
デフォルトでは、パブリック ネットワークからクラスタのワークロードへのアクセスを設定できます。ルートは自動的には作成されません。限定公開クラスタが Pod とノードに内部アドレスを割り当て、ワークロードがパブリック ネットワークから完全に分離されます。

限定公開クラスタを作成するには、限定公開クラスタの作成をご覧ください。

### Kubernetes の機能
Kubernetes の新機能は、開発状況に応じてアルファ版、ベータ版、安定版のいずれかで示されます。ほとんどの場合、ベータ版または安定版として表示された Kubernetes 機能が GKE に同梱されます。Kubernetes アルファ版の機能は、特別な GKE アルファ クラスタで使用できます。

注: アルファ版機能は、Autopilot モードで作成されたクラスタでは使用できません。
### アルファ クラスタ
アルファ クラスタでは、すべての Kubernetes アルファ API（機能ゲートともいう）が有効になっています。アルファ クラスタは、Kubernetes 機能の早期テストや検証に使用できます。アルファ クラスタは本番環境ワークロードではサポートされず、アップグレードも行われません。また、30 日以内に期限が切れます。

Standard モードでアルファ クラスタを作成するには、アルファ クラスタの作成をご覧ください。

https://inthecloud.withgoogle.com/anthos-day-2001/Google_Cloud_Anthos_Day_200130_Session8.pdf

https://qiita.com/sonots/items/f82912367693d717ff06
https://qiita.com/ishishow#:~:text=Kubernetes%20Casual%20Talk%20%E3%80%9CUbie%E3%80%81CA%E3%80%81%E3%83%A1%E3%83%AB%E3%83%9A%E3%82%A4%E3%82%92%E8%A6%8B%E3%81%9F%E3%83%A1%E3%83%A2

```shell
# Create container

gcloud beta container --project "プロジェクト名" clusters create "クラスタ名"  --zone "" --no-enable-basic-auth --cluster-version "バージョン"  --release-channel "None"  --machine-type "マシンスペック"  --image-type "COS_CONTAINERD"  --disk-type "pd-standard"  --disk-size "100"  --metadata disable-legacy-endpoints=true  --scopes  "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append"  --max-pods-per-node "110"  --num-nodes "ノードの数"  --logging=SYSTEM,WORKLOAD  --monitoring=SYSTEM  --enable-ip-alias  --network "projects/dena-opfsys-as-gcp/global/networks/default"  --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default"  --no-enable-intra-node-visibility  --default-max-pods-per-node "110"  --no-enable-master-authorized-networks  --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver  --enable-autoupgrade  --enable-autorepair  --max-surge-upgrade 1  --max-unavailable-upgrade 0  --enable-shielded-nodes  --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c"
```

上記たくさん設定があってややこしいと思いますが、![スクリーンショット 2021-10-11 16.39.02](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.39.02.png)画像右下のCOMMAND LINEを選択すると、コマンドが表示されるのでそこから取得すると便利です。
![スクリーンショット 2021-10-11 16.40.48](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.40.48.png)

また、もちろんコンソール上からでも作成できます。

![スクリーンショット 2021-10-11 16.42.54](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.42.54.png)

ロケーションタイプをZonal,Regionalそれぞれ選択したクラスタを作成します。

```shell
# zonal

gcloud beta container --project "dena-opfsys-as-gcp" clusters create "testzonalcluster"  --zone "asia-northeast1-a" --no-enable-basic-auth --cluster-version "1.20.10-gke.301"  --release-channel "None"  --machine-type "n1-standard-1"  --image-type "COS_CONTAINERD"  --disk-type "pd-standard"  --disk-size "100"  --metadata disable-legacy-endpoints=true  --scopes  "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append"  --max-pods-per-node "110"  --num-nodes "1"  --logging=SYSTEM,WORKLOAD  --monitoring=SYSTEM  --enable-ip-alias  --network "projects/dena-opfsys-as-gcp/global/networks/default"  --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default"  --no-enable-intra-node-visibility  --default-max-pods-per-node "110"  --no-enable-master-authorized-networks  --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver  --enable-autoupgrade  --enable-autorepair  --max-surge-upgrade 1  --max-unavailable-upgrade 0  --enable-shielded-nodes  --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c"

# regional

gcloud beta container --project "dena-opfsys-as-gcp" clusters create "test-regional-cluster" --region "asia-northeast1" --no-enable-basic-auth --cluster-version "1.20.10-gke.301" --release-channel "None" --machine-type "n1-standard-1" --image-type "COS_CONTAINERD" --disk-type "pd-standard" --disk-size "100" --metadata disable-legacy-endpoints=true --scopes "https://www.googleapis.com/auth/devstorage.read_only","https://www.googleapis.com/auth/logging.write","https://www.googleapis.com/auth/monitoring","https://www.googleapis.com/auth/servicecontrol","https://www.googleapis.com/auth/service.management.readonly","https://www.googleapis.com/auth/trace.append" --max-pods-per-node "110" --num-nodes "1" --logging=SYSTEM,WORKLOAD --monitoring=SYSTEM --enable-ip-alias --network "projects/dena-opfsys-as-gcp/global/networks/default" --subnetwork "projects/dena-opfsys-as-gcp/regions/asia-northeast1/subnetworks/default" --no-enable-intra-node-visibility --default-max-pods-per-node "110" --no-enable-master-authorized-networks --addons HorizontalPodAutoscaling,HttpLoadBalancing,GcePersistentDiskCsiDriver --enable-autoupgrade --enable-autorepair --max-surge-upgrade 1 --max-unavailable-upgrade 0 --enable-shielded-nodes --node-locations "asia-northeast1-a","asia-northeast1-b","asia-northeast1-c"

```

![スクリーンショット 2021-10-11 16.46.06](/Users/sho.ishikawa/Library/Application Support/typora-user-images/スクリーンショット 2021-10-11 16.46.06.png)

作成できました。次に今回はHelmを利用してWordpressを簡単に構築します。

```shell
❯ helm repo add bitnami https://charts.bitnami.com/bitnami
"bitnami" has been added to your repositories
provide a name or specify --generate-name
❯ helm install  bitnami/wordpress --generate-name
```

上記をそれぞれのクラスタで実行し、WordPressをデプロイします。

accsess wordpress

```sh
＃サービスの取得
❯ kubectl get svc
NAME                           TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)                      AGE
kubernetes                     ClusterIP      10.41.240.1     <none>           443/TCP                      140m
wordpress-1633929471           LoadBalancer   10.41.255.237   XXXXXXXXXXXXXXXXXXXXX   80:32421/TCP,443:32410/TCP   4m32s
wordpress-1633929471-mariadb   ClusterIP      10.41.253.34    <none>           3306/TCP                     4m32s

＃アドレスの取得(上記のExternalIPと同じ)
❯ echo $(kubectl get svc --namespace default wordpress-1633929471 -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
XXXXXXXXXXXXXXXXXXXX
```

アクセスして確認します。

![スクリーンショット 2021-10-11 14.23.18](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 14.23.18.png)

構築されていました。

### アップデート検証

Zonal,Regional二つのクラスタが構築できたので次はクラスタの更新を行いダウンタイムが起こるかの検証を行なっていきます。

#### Zonal

Zonal ClusterでAutoscalingを有効化してみます。

```shell
 gcloud container clusters update testzonalcluster  --enable-autoscaling  --min-nodes=1  --max-nodes=1  --zone "asia-northeast1-a"  --node-pool default-pool
```

![スクリーンショット 2021-10-11 15.24.46](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 15.24.55.png)

![スクリーンショット 2021-10-11 15.24.46](/Users/sho.ishikawa/Downloads/スクリーンショット 2021-10-11 15.24.46.png)

![スクリーンショット 2021-10-11 12.29.41](/Users/sho.ishikawa/Desktop/スクリーンショット 2021-10-11 12.29.41.png)
![](https://i.imgur.com/AWoEyQP.png)
![](https://i.imgur.com/sktbpsu.png)

![](https://i.imgur.com/pZmkHwR.png)
![](https://i.imgur.com/smv9eNZ.png)
![](https://i.imgur.com/rtFE3Rv.png)
![](https://i.imgur.com/lDV0pGL.png)
![](https://i.imgur.com/Kc6UW55.png)
![](https://i.imgur.com/M1qTeZ5.png)
https://qiita.com/Ladicle/items/5bb5a9b7fb18bd400682
https://www.wantedly.com/id/shou_ishikawa_g
https://cyberagent.zoom.us/j/6822275835

https://blog.inductor.me/entry/2021/03/07/011811
https://speakerdeck.com/makocchi/lets-learn-about-gke-autopilot-gatekeeper-rego?slide=29
https://speakerdeck.com/makocchi/lets-learn-about-gke-autopilot-gatekeeper-rego?slide=29
https://tech.plaid.co.jp/google-cloud-day-digital-2021/
https://t.co/bEbB38srua?amp=1
https://t.co/OjMCTLWz6i?amp=1
https://t.co/hdM1Y61LJ1?amp=1
https://t.co/JCqSbTMgtf?amp=1
https://ahmet.im/blog/gke-autopilot/

https://opensource.googleblog.com/2021/11/expanding-google-summer-of-code-in-2022.html?m=1
![](https://i.imgur.com/nhVWmu8.png)
https://docs.google.com/presentation/d/1tITCK3m6LeHq71rB5gIlqk9SuLdBw9JHPQmXchWCW0s/edit?usp=sharing