議程8 - Use API Gateway and Go service to achieve HTTP idempotencier - Gaston Chiu

tags: GopherDay2024 Agenda

Slido 連結

[投影片連結]

• https://qrco.de/bf5xfS
• https://github.com/gastonqiu/PublicTalk/blob/main/gophercon2024/Gaston_Gophercon.pdf

key question: 解決 server/client behavior 不一致導致重複操作

案例：
client 請求下單扣款，server 已經完成扣款，responce 時封包丟失等等，導致 client 認為 request failed，嘗試重送，導致重複扣款。

解決方法：
透故前後端約定好的 unique key 作為交易 idempotencier，當 server 收到同樣的 idempotencier 且 payload hash 相同，直接回 success(2xx)。

POST 比較需要 idenpotency key，GET, PUT, DELETE 不需要因為可以多執行幾次

實作上參考 RFC

如果 body/header hash 跟上一次同一個 idempotency key 對應的 body/header hash 不同，就回 422 Unprocessable

Solution

1. 用 url, body, whitelisted header 算出 request fingerprint
2. Lock idempotency key
3. 看這個 key + fingerprint 是否已經有 cached response
4. 沒有再去 process、set to cache

不同 microservice 的統一

• 寫一個 Kong gateway plugin
• 把 idempotency 相關邏輯拆成一個 service，由 Gateway Plugin 呼叫

Idempotency service

• Request lock: idempotency key and lock duration
  • 前提：透過 redis 做 lock server & cache server
  • random value: unlock 時會用到，保證 lock & unlock 的人是同一個
  • 使用 redsync

Lock Storage

• Redis replication: easy to setup, but may lose data
  • 當 master 還有廣播到 replica 就被 kill，新成為 master 的 node 的 memory 中並沒有這筆資料（沒有任何 persistance value）
• Redlock: redis distributed lock 演算法
• ddia 作者 Martin Kleppmann：遇到 GC 時長超過 timeout 時，redlock 也會失效
  • https://martin.kleppmann.com/2016/02/08/how-to-do-distributed-locking.html
• AWS MemoryDB for Redis: 把 redis 加上 transaction log，確保 failover 時不會造成 data loss

最終決定是採用 Redis replication，且可能會 migrate 到 MemoryDB for Redis