# ISUCON チートシート

## TODOリスト
- [ ] スクリプトを書く
- [ ] alp,pt-query-digestのインストールコマンド
- [x] alpを実行したときにタイムスタンプでログを保存してくれるやつ
- [x] alp -f /var/log/nginx/access.log >> alp{#Time.now}.txt みたいなやつ
- [ ] pt-query-digestも同上
- [ ] ベンチ回した時（ビルドした時？）にnginxのaccess.logをaccess-2020-06-07.logみたいに前のを変更してくれるやつ
- [ ] deployのスクリプト
- [ ] 役割を決める(インフラ系、アプリ系とか？全員が全部やるでも可)
- [ ] 過去問を一緒に解く(isucon8)

got

# 当日作業流れ

## 初期行動

- [ ] ベンチ回す
- [ ] 公開鍵認証でログインできるようにする
- [ ] git管理できるようにする(どこでgit initするか要相談)
- [ ] サーバーのスペック確認(cpuコア数・メモリ・ディスク容量など)
- [ ] [MySQLデータ確認](#MySQLのデータ確認)
- [ ] [MySQLのタレを入れる](#MySQLのタレ)
- [ ] [Nginxのタレを入れる](#Nginxのタレ)
- [ ] alp,pt-query-digestを入れる
- [ ] [pt-query-digestを見てindexを貼る](#pt-query-digest)
- [ ] ベンチを回す
- [ ] アプリケーションの一通りの動作・コードを確認する（１時間くらいはかけていい）
- [ ] ボトルネックになっているものを解決していく

## 困った時に見るリスト

- [ ] N+1問題(クエリ改善だけじゃなくてクエリなくすのもあり)
- [ ] DBじゃなくてインメモリにできるか
- [ ] キャッシュをつける
- [ ] [http2にする sslの設定が要ります（ベンチで落ちる可能性もあるが効果はでかいはず）](https://qiita.com/takahia/items/756be5b47134f9e51a11)
- [ ] [ロードバランシング](#ロードバランシング)する（どのサーバーをどれに割り当てるかは要検討）
- [ ] 並列処理にする(コア数確認する)
- [ ] 処理速度が上がってまだデータがないのにリクエストが来てfailの可能性がある

##

# 便利コマンド

### alp
インストール

wget https://github.com/tkuchiki/alp/releases/download/v0.4.0/alp_linux_amd64.zip
unzip alp_linux_amd64.zip
sudo install ./alp /usr/local/bin
alp  --version

実行コマンド(AVGあたりを意識して見る、これもスクリプトあれば嬉しい)

alp -f /var/log/nginx/access.log

### pt-query-digest

インストール(ubuntu)

使う(スクリプト用意したい)

### MySQLのデータ確認

## MySQLのタレ
コメントアウトしてるのは入ってると動かない可能性がある（環境によるっぽい）

[mysqld]

# スロークエリの出力設定(最後切る)
slow_query_log=ON

# スロークエリと判定する秒数(全て表示)
long_query_time=0

# スロークエリログの場所
slow_query_log_file = /var/log/mysql/mysql-slow.log

# スレッドキャッシュ保持最大数
thread_cache_size=100

# クエリキャッシュ最大サイズ
query_cache_limit=16M

# クエリキャッシュで使用するメモリサイズ
query_cache_size=512M

# クエリキャッシュのタイプ(0:off, 1:ON SELECT SQL_NO_CACHE以外, 2:DEMAND SELECT SQL_CACHEのみ)
query_cache_type=1

# テーブルを作り直さないと効果が薄い
innodb_file_per_table=ON

# InnoDBのデータとインデックスをキャッシュするバッファのサイズ(推奨は物理メモリの8割)
innodb_buffer_pool_size=6G

# InnoDBの更新ログを記録するディスク上のファイルサイズ(innodb_buffer_pool_sizeの4分の1程度)
innodb_log_file_size=1G

#################
# innodb
# #################

# InnoDBのデータ・ディクショナリーや内部データ構造情報を持つバッファのサイズ(deprecated)
#innodb_additional_mem_pool_size=20M

# コミットされていないトランザクションのためのバッファのサイズ
innodb_log_buffer_size=64M

# データやインデックスを共有ではなくテーブル個別に保存する
innodb_file_per_table=1

# #################
# etc
# #################

# インデックス未使用でのJOIN時に使用するバッファ
join_buffer_size=256K

# クライアントからサーバーに送信できるパケットの最大長
max_allowed_packet=8M

# フルスキャンのレコードバッファ
read_buffer_size=1M

# キーを使用したソートで読み込まれた行がキャッシュされるバッファ
read_rnd_buffer_size=2M

# ソート時に使用されるバッファ
sort_buffer_size=4M

# MEMORYテーブルの最大サイズ。このサイズを超えたMEMORYテーブルはディスク上に作成
max_heap_table_size=16M

# スレッド毎に作成される一時的なテーブルの最大サイズ。スレッドバッファ
tmp_table_size=16M

# コネクションタイムアウト時間
wait_timeout=30

# 実行されたSQLをログに残すか
general_log=OFF

## Nginxのタレ
### Nginx.conf

worker_processes auto;
worker_rlimit_nofile 100000;
events {
worker_connections 2048;
multi_accept on;
use epoll;
}

http{

#alp用のlog設定

log_format ltsv "time:$time_local"
"\thost:$remote_addr"
"\tforwardedfor:$http_x_forwarded_for"
"\treq:$request"
"\tstatus:$status"
"\tmethod:$request_method"
"\turi:$request_uri"
"\tsize:$body_bytes_sent"
"\treferer:$http_referer"
"\tua:$http_user_agent"
"\treqtime:$request_time"
"\tcache:$upstream_http_x_cache"
"\truntime:$upstream_http_x_runtime"
"\tapptime:$upstream_response_time"
"\tvhost:$host";

access_log /var/log/nginx/access.log ltsv;

sendfile on;
tcp_nopush on;
tcp_nodelay on;
server_tokens off;

gzip on;
gzip_http_version 1.0;
gzip_disable "msie6";
gzip_proxied any;
#小さすぎるのはむしろ効率悪いので最小値を決める
gzip_min_length 1024;
gzip_comp_level 6;
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript ;

open_file_cache max=100000 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 2;
open_file_cache_errors on;

}

### isucon.conf

proxy_cache_path /tmp/nginx_cache levels=1:2 keys_zone=objects:20m max_size=3g inactive=4d;
proxy_temp_path /tmp/nginx_tmp;
proxy_cache_lock on;
proxy_cache_lock_timeout 2m;

servers{

location /icons/ {
add_header X-Cached $upstream_cache_status;

#どこからか持ってきたんだけど調べても意味がわかりませんでした・・
proxy_cache objects;
proxy_cache_valid 200 302 12h;
# proxy_cache_valid 404 403 1m;
# public=みんなでキャッシュを共有 immutable=サーバーに問い合わせない
add_header Cache-Control "public, max-age=31536000, immutable";

proxy_set_header Host $http_host;
#当日サーバーIPによって変える
proxy_pass http://app:5000;
}

}

### ロードバランシング

upstream backend {
server 192.168.101.1:80;
server 192.168.101.2:80;
keepalive 64;
}

server{

location / {
proxy_set_header Host $http_host;
proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
}
}

### 参考になりそう

- https://gist.github.com/south37/d4a5a8158f49e067237c17d13ecab12a#file-04_nginx-md

# 超絶参考になりそうリンク
厳選してこれは役立ちそう！ってやつだけ

- [GoでISUCONを戦う話](https://gist.github.com/catatsuy/e627aaf118fbe001f2e7c665fda48146)