# 議程8 - Use API Gateway and Go service to achieve HTTP idempotencier - Gaston Chiu

###### tags: `GopherDay2024` `Agenda`

{%hackmd /@Golang-Taipei/GopherDay2024-info %}

### [Slido 連結](https://app.sli.do/event/dqtFSHv9xfS5yZ9Gq9UKNo)

### [投影片連結]
- https://qrco.de/bf5xfS
- https://github.com/gastonqiu/PublicTalk/blob/main/gophercon2024/Gaston_Gophercon.pdf

key question: 解決 server/client behavior 不一致導致重複操作

案例：
client 請求下單扣款，server 已經完成扣款，responce 時封包丟失等等，導致 client 認為 request failed，嘗試重送，導致重複扣款。

解決方法：
透故前後端約定好的 unique key 作為交易 idempotencier，當 server 收到同樣的 idempotencier 且 payload hash 相同，直接回 success(2xx)。

POST 比較需要 idenpotency key，GET, PUT, DELETE 不需要因為可以多執行幾次

實作上參考 [RFC](https://datatracker.ietf.org/doc/draft-ietf-httpapi-idempotency-key-header/)

如果 body/header hash 跟上一次同一個 idempotency key 對應的 body/header hash 不同，就回 422 Unprocessable

### Solution

1. 用 url, body, whitelisted header 算出 request fingerprint
2. Lock idempotency key
3. 看這個 key + fingerprint 是否已經有 cached response
4. 沒有再去 process、set to cache

不同 microservice 的統一
- 寫一個 Kong gateway plugin
- 把 idempotency 相關邏輯拆成一個 service，由 Gateway Plugin 呼叫

### Idempotency service

- Request lock: idempotency key and lock duration
- 前提：透過 redis 做 lock server & cache server
- random value: unlock 時會用到，保證 lock & unlock 的人是同一個
- 使用 [redsync](https://github.com/go-redsync/redsync)

### Lock Storage
- Redis replication: easy to setup, but may lose data
- 當 master 還有廣播到 replica 就被 kill，新成為 master 的 node 的 memory 中並沒有這筆資料（沒有任何 persistance value）
- Redlock: redis distributed lock 演算法
- ddia 作者 Martin Kleppmann：遇到 GC 時長超過 timeout 時，redlock 也會失效
- https://martin.kleppmann.com/2016/02/08/how-to-do-distributed-locking.html
- AWS MemoryDB for Redis: 把 redis 加上 transaction log，確保 failover 時不會造成 data loss

最終決定是採用 Redis replication，且可能會 migrate 到 MemoryDB for Redis