Try   HackMD

GCP 進階技術課1

vpc

  • subnet 不能跨 region，可以跨 zone
    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →
  • vpc 可以用來切割環境，ex: stage, prod

vpc 設定

自動子網路模式

  • 預設 CIDR /20，可擴成 /16
  • 有預設防火牆規則 tcp 22

default vpc

  • 39 region

custom vpc

  • 自己設定 CIDR

MTU(最大傳輸單元)

  • 網路層最大的封包上限
  • 預設 1460
  • MSS 固定? 以小的為主
  • cloud vpn, cloud interconnect
  • 兩個 VM 若 MTU 不同，可能會有網路問題，🈶️封包被丟棄風險
  • 最好是設 1500

secondary subset cidr range

primary secondary
node IP (必要存在) container ip
用一個 range(/24)，可方便 node 裡面增長 Container 擴展 從 primary ip 分配出來
  • vpc 子網路不夠時，可以做擴展

shared vpc

  • 把一個專案(宿主 host project)的 vpc 分享給其他專案(service project)使用
  • 比較好管理，可以直接透過 host project 設定下面的 resource 的網路
  • host project
    • 也可以設在 folder 層級
    • 網路 foundation 層
    • cloud vpn
    • cloud routes
    • vpc firewall policies
  • service project
    • VM
    • load balancer
    • 下面層級的 service

優點：

  • cross-project commucation
  • 管理簡單、降低成本
  • host project 和 service project 是一對多的關係
  • 不同 network 是不同的計價，雖然都是同一個 vpc

Q&A:

  1. vpc subnet 切分可能是區分環境
  2. APP 跟 DB subnet 要區分嗎?
    放在一起但用防火牆控制，較好管理。
    目前智金也是，mlaas 底下都是同一個 subnet，因為可以透過: tag, sa, firewall 另外設定。

vpc peering （只需要流量費用，不用服務費用）

優點：

  • 同專案or不同專案 vpc network 都可以打 vpc peering
  • 主要是針對 vpc 之間，不同 vpc 之間是無法溝通的
  • 路由自動設定，但無法自動做跳轉

缺點：

  • vpc1 <-> vpc2 <-> vpc3，此時 1 3 不能互聯
  • vpc1 <-> vpc2 <-> vpc3，1 3 ip range 重複，就不能建 2 3 peering
    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →

    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →

實作

vpc 內的機器可自由連線

  • 於 vpc networks 操作 create
  • MTU 選 1500
    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →

    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →

shared vpc

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

創建 vm a & b

  • network 的地方記得選剛剛建立的 vpc
  • 選 E2 micro 可以最便宜！

connectivity test (測試 network 有沒有通)

  • 先將 network management API enable
  • 選 icmp 來測試
    Image Not Showing Possible Reasons
    • The image was uploaded to a note which you don't have access to
    • The note which the image was originally uploaded to has been deleted
    Learn More →

    （也可以用 VM A ssh 進去 ping VM B 內部IP）

compute engine

收費

  • 用多少算多少，以分鐘計費
  • 暫時關機後，收費 disk, cpu 跟 static ip

機器類型：

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

- E2: 成本優化
- N2 系列： 廣泛使用，成本效能佳
- T2D, T2A: 單一core 效能高
- CPU: H3, C2系列
- Memory: M系列
- Accelerate: A系列

VM life cycle

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

- reset 會把 memory 直接清除
- 但如果 vm 有問題，還是用 restart 比較好，可以重新做硬體配置

VM disk

Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →

  • 可以增大，不能縮小

  • 影響 IOPS

    • 機器類型 core數
    • vcpu 變化
    • 磁碟大小

  • disks and snapshot

    • 可以設立快照排程，預設保留 14 天

image

類別：

  • public images
    • 免費 image
    • 收費 按 core 收
  • custom images
    • 依照儲存資源收

snapshop

種類

  • 標準
  • 封存
  • 即時: 要快，所以不會備份到不同 region

注意

  • 一旦刪除就無法復原

特性

  • 差異備份，類似 wal 檔那樣
  • 使用 reference 的方式
  • 第二個快照會是第一個的變更
    image
  • 如果中間有快照被刪除，會把被刪除的快照存放到下一個快照中
    image

作法

  • 每小時標準快照一次

登入 VM 方式

SSH login

  1. ssh keys
  2. OS login (建議)
    用 linux account, cloud identity 綁定 MFA

實作

自動排程開關機VM

image

  • Instance schedule details:
    • 新增 add instance to schedule
    • 一旦建立就無法更動
    • 需跟 vm 同個 region
    • 記得 service account(是 gcp 建立的 sa) 必須要有 compute admin 權限

firewall

vpc firewall rules
attach rules to vms by:

  • tags
  • service account
  • 針對單一或全球的 vpc

default rule

  • priority 越小越優先
  1. ipv4
    • ingress 所有進來的都會被擋掉 deny
    • egress 所有出去的都會被允許 allow
  2. ipv6

policy
attach policy to vms by:

  • tags
  • service account
    可附加在多個 vpc 上
    高階會有費用
    可透過 domain(FQDN) 方式作為防火牆限制目標

firewall log

  • 不同防火牆規則需分別開啟
  • 會產生額外費用
  • 存在 cloud log 裏面，能設定 alert
  • 可用來驗證與分析防火牆規則

實作

限制 vm 不能造訪特地網域

  • create network policy > add rule
    image
  • Q&A
  1. 預設 egress 全通，哪個條件有寫，怎麼看得出來?
  2. 如果預設全通，這樣為麼 priority 可以寫這麼大，而不會不會被讀到?
    image

instance group

  • 非託管：讓多個 vm 放在同個 group，就可以做 load balance
  • 託管 MIG：透過建立好的template(yaml)，限制將來要起的 vm 的 resource，達到快速起 vm auto-scaling，限制起在同or不同 zone or region
    auto-scaling 條件
  • cpu 使用率
  • load balancer capacity
  • monitoring metrics
  • queued workload
  • 做 health check (5s 一次)，不健康就會拒絕 LB 傳來的流量

cloud SQL

特性

  • 全代管的服務
  • 支援 genAI
  • 遷移作業簡單：DMS
  • 支援 mysql, postgresql, sqlserver
  • 支援多個用戶端

資源上限

  • 64 TB
  • 60000 IOPS
  • 864 GB of RAM
  • scale out with read replicas

edition

  • enterprise
  • enterprise plus
  • 創建後就不能修改 edition

特性

  • cpu 一定是 1:8 不能動
  • 服務可使用內網連線(private service access)，一旦啟用就不能關閉
  • 會另外起在 gcp 管理的 vpc 中，所以其實 gcp 會自動幫你建 vpc peering，才能連線

replicate

  • cascading replcas
    • 災難復原：可藉由推送備援資源 來推成 primary
    • 效能提升方式: 讀寫分離
    • 同 region -> 費用降低

高可用性 HA

  • zone A 壞掉的話，可以把 ip 指到 standby 的 zone B cloud SQL，減少停機時間
  • HA 費用變兩倍，看開幾個 HA XD

故障切換

image
image

maintenance
https://cloud.google.com/sql/docs/mysql/maintenance#how_maintenance_works

  • 3 months 維修一次，會有停機，但可以拒絕維修，最長是 90 天，但建議還是要維護！****
  • enterprise plus: 10s
  • enterprise: 60s –> 明明都很短!!! XD
    image
    image
    image
  • static ip 會從 original vm 換成指到 updated vm，再把 original vm 刪掉！就是維護完成

實作

透過內部網路來存取 cloud sql

  • resource 至少選 4 core 才不會啟動太久！
  • connections 選 private ip
  • data protection: enable deletion 不要勾選
    image
    image

一整天下來還真的很累，需要療癒圖

image

好可愛唷！！！！！

Last changed by 
 
esun-gcp team1
gcp 技術班作業討論區
0
321

Read more

HW2 Question 8

建立一個asia-east1 區域，Node 2的Cluster

Jan 16, 2024
技術班課後作業 HW 2

Managed Instance Group(MIG)○ 在vpc-a，asia-east1-b，使用image-vm-pa-1，建立一個managedinstance group (stateless)，命名為mig-vm-pa-1■ 最低instance數量設為1■ 最高instance數量設為2■ CPU 40%的時候會進行自動擴展■ 設定一個監控HTTP 80 Port 的Healthcheck，Request path 為/■ 其他部分都用預設選項■ [提示] 建立templates 的時候請注意相關的network tags,要允許服務所需要的firewall、另外要安裝ops agent

Jan 16, 2024
技術班課後作業 HW3

實作流程1.Monitor/Logging○針對vm-pa-1設定CPUAlert■當三分鐘內的CPU平均超過80%觸發告警■通知和名稱選擇要通知的相關人員的電子郵件■設定郵件預設內容(Documentation)○ApplicationLoadBalancer設定RPSAlert■一分鐘內的RPS(Rate)超過50次觸發告警■要把所有的url_map_name都加總■通知和名稱選擇要通知的相關人員的電子郵件■設定郵件預設內容(Documentation)○MIG設定EmailAlert■建立MIGPolicy快訊■針對Instancegroupsize做監控警告，其它設定預設■設定觸發條件高於門檻，門檻值為5，其它設定預設■通知和名稱選擇要通知的相關人員的電子郵件■設定郵件預設內容(Documentation)○如何查詢CloudArmor的DenyLog■在記錄中搜尋欄位輸入jsonPayload.enforcedSecurityPolicy.outcome="DENY"查詢拒絕請求記錄■時間欄位可調整至記錄的發生時間點○如何查詢OSLogin的Log■在記錄中搜尋欄位輸入protoPayload.serviceName="oslogin.googleapis.com"■時間欄位可調整至記錄的發生時間點2.BigQueryandCloudSQL○在ProjectA中，建立一個dataset_pa1:my_baseball_tw，區域選擇asia-east1，將此dataset_pa1(my_baseball_tw)，設定cloud_identity_b具有讀取的權限。○將google的publicdataset:bigquery-public-data.baseball，複製到my_baseball_tw■[提示]點選+ADD可以搜尋publicdataset■[提示]點選dataset後，在UI上會有COPY的功能■[問題]是否有需要額外開啟的API■[問題]新增的COPYJOB可以從哪查看？■檢查自己的my_baseball_twdataset內有多少個Tables○使用cloud_identity_b，並確認自己是在ProjectB中，針對Project_A中的my_baseball_tw.games_wideTable進行SQL查詢。查詢語句類似SELECTyear,homeTeamName,SUM(attendance)asattendanceFROMproject_a.my_baseball_tw.games_wideGROUPBY1,2■點選並查看QueryResults裡面的JOBINFORMATION、EXECUTIONDETAILS、EXECUTIONGRAPH■[問題]BytesBilled為多少？SlotTime為多少?從多少筆資料中讀取、最終產生了幾筆資料？■點選並查看JobHistory下面的PERSONALHISTORY■將查詢的結果，匯出為CSV檔案:games_wide.csv■將BigQuery的資料表匯出成CSV檔，上傳至CloudStorage:bucket_a中○使用cloud_identity_a，並確認自己是在ProjectA中，創建一台CloudSQLforMySQL:CloudSQL-a■DatabaseEngine:MySQL8.0■CloudSQLEdition:Enterprise■建立一個預設的Password■1core/3.75GB■SSD10GB■開啟PublicIP■[問題]預設的使用者有誰?■[問題]CloudSQL-a是否有內網IP、他是否有和任何一個VPCPeering?■透過UI介面，新增一個使用者user_b■[問題]user_b具有什麼權限、創建的時候能否限制存取IP?■透過UI介面，創建一個新的Databases:sql_baseball○嘗試透過mysql客戶端連線進入CloudSQL-a○方式一:使用CloudShell■[提示]需要啟用sqladminapihttps://console.cloud.google.com/apis/library/sqladmin.googleapis.com■[提示]gcloudsqlconnect[instance_id]–user=root–quiet○方式二：使用vm-pa-1■[提示]需要安裝mysqlclientsudoaptinstalldefault-mysql-client-core■[提示]CloudSQL-a是否需要調整什麼設定，才能允許vm-pa-1連線○[問題]方式一和方式二的差異在什麼地方○於CloudSQL-a中的sql_baseballdatabase中，建立一個tablegames_wide■[提示]■mysql>usesql_baseball;■mysql>CREATETABLEgames_wide(yearINTUNSIGNED,homeTeamNamevarchar(256),attendanceINTUNSIGNED);○將CloudStorage的檔案Import至CloudSQL■Source來源選擇上傳檔案的Bucket:bucket_a■文件格式選擇CSV■選擇剛建立的Database:sql_baseball■選擇剛剛建立的Table:games_wide■[問題]有哪邊可以看到剛剛import的Job基本資料■[提示]OperationLogs○透過BigQuery建立FederatedQuery，查詢CloudSQL中的資料■在Project_A中，在BigQueryUI上建立一個ExternalConnection，連線到CloudSQL-a中■[提示]點選+ADD，選擇Connectionstoexternaldatasources■ConnectionID自訂名稱為cloudsql-a■LocationType選擇Region、Region選擇asia-east1■[提示]CloudSQLconnectionname可以至CloudSQL-a的UI中查詢■Databasename:sql_baseball■Databaseusername、Databasepassword填入正確的資料■點選externalconnections->點選剛剛建立的connectionname->選擇Query■[問題]嘗試查詢sql_baseball.games_wide的資料，能否查詢的到，是否有錯誤訊息?[提示]SELECT*FROMsql_baseball.games_wide;■點選externalconnections->點選剛剛建立的connectionname■找出使用的serviceaccountid，格式為service-[project_number]@gcp-sa-bigqueryconnection.iam.gserviceaccount.com■替上面的ServiceAccountId，提供CloudSQLClient的Role權限■重新嘗試查詢，能否查詢的到資料了?■[問題]CloudSQL是否需要額外設定允許IP，讓BigQuery可以透過FederatedQuery存取?○將BigQuery裡面查詢到的資料，存入另外一個Table■在剛剛BigQueryUI上，透過federatedquery查詢CloudSQL-a的視窗上，點選QuerySettings■選擇Setadestinationtableforqueryresults■Dataset選擇my_baseball_tw■TableId設定為games_wide_from_sql■Destinationtablewritepreference:Overwritetable■設定完成後，重新執行Query■查看是否有產生新的Table:games_wide_from_sql，裡面有多少筆資料

Jan 14, 2024
HW3 Question 1

Monitor / Logging

Jan 12, 2024
Read more from esun-gcp team1
Published on HackMD