HackMD - Collaborative Markdown Knowledge Base

## ISUCONチュートリアル - 未経験を前提 - 未経験者にとってISUCONの難しい部分：**体制作り** - どのようにツールを使ってチューニングサイクルを回していくか - 三人でどうやって効率的に分業するか - これをしっかりやらないと、勘でN+1っぽい部分を修正してscoreをあげる、より先にいけない - 今回はチューニングを実施する前のインフラ・オペレーション部分の構築を経験してもらう - ISUCON8の環境を使用 - 1つの環境を用いたモブプログラミング - 3時間くらいで終わることを想定 - 終わったあとは実践形式でチューニング - カンバンボードTrelloを使用 - （時間があったらアプリのコードに目を通してみてもいいかも） ## EC2インスタンスのセットアップをする（事前実行済み） - 提供されているAMIを使用 - https://github.com/matsuu/aws-isucon - 2コア, メモリ1G, 帯域1Gbpsなので、t3.microかな - Firewall rules - TCPの22, 80, 443, 3306, 5000, 8080, 19999番を外に解放 - 一応ICMPも許可 ## isuconユーザの作成（事前実行済み） - ユーザをisuconに切り替え ``` sudo -i -u isucon ``` - isuconユーザを作成 ``` sudo useradd -m isucon sudo usermod -aG wheel isucon sudo visudo (コメントアウトしてパスワードなしでwheelグループがsudoできるようにする） ``` - sshでisuconユーザにログインできるようにする ``` sudo -i cp -r /home/centos/.ssh /home/isucon/ cd /home/isucon chown -R isucon:isucon /home/isucon/.ssh ``` ## サーバ群にsshできるようにする全員が4つのサーバ（isucon-server[1-3], isucon-bench）にsshできるようにする - 公開鍵の登録 - @tkygtr6 に各自の公開鍵を共有 ``` ssh-copy-id -i ~/.ssh/id_rsa.pub -f isucon@isucon-server1 ``` - ローカルマシンの `/.ssh/config` の設定 ``` Host isucon-server1 HostName isucon-server1 Port 22 User isucon ... ``` - ローカルマシンの `/etc/hosts` の設定 ``` <ip address> isucon-server1 <ip address> isucon-server2 <ip address> isucon-server3 <ip address> isucon-bench ``` ## webappのフォルダをローカルに落としてくる ``` # 圧縮 tar -zcvf xxxx.tar.gz directory # 解凍 tar -zxvf xxxx.tar.gz ``` ## サーバで動いているサービスを確認する - サービス一覧の取得 ``` sudo systemctl list-unit-files --type=service ``` - 開いているポートの確認 ``` sudo netstat -an | grep "LISTEN " ``` - ポートがどのプロセスに使われているのか調査 ``` sudo lsof -i:80 sudo lsof -i:8080 ``` - ブラウザからメイン画面にアクセスできることを確認 ``` open http://isucon-server1 ``` ## 全てのサーバで/etc/hosts の設定をする ``` <ip address> isucon-server1 <ip address> isucon-server2 <ip address> isucon-server3 <ip address> isucon-bench ``` ## マニュアルを読む - 特にレギュレーションが大切 ## アプリのコードをGitリポジトリで管理する - 共有リポジトリを作成 - webapp内の必要最低限のファイルのみをgit管理下に置く - リモートで必要なファイルを `git add` して push - ローカルでは解凍後のwebapp以下に、共有リポジトリの `.git` のみをコピーするのが手っ取り早い ## ベンチを動かす - `torb/bench/README.md` には `See ../README.me` と書いてあるが存在しない - https://github.com/isucon/isucon8-qualify を参照してビルド ``` ./bin/bench -remotes=isucon-server1:80 -output result.json ``` ## 雑多な設定をする - パッケージのインストール ``` sudo yum install gcc lsof ``` - SELinuxの無効化 ``` sudo setenforce 0 sudo vi /etc/selinux/config # SELINUX=disabledに変更 ``` ## 実装をPythonに変更する - 実装をPythonにしたい - `torb/doc/MANUAL.md` にやり方が書いてある ``` sudo systemctl stop torb.perl sudo systemctl disable torb.perl sudo systemctl start torb.python sudo systemctl enable torb.python ``` ## Server3でDBを動かす - CentOSの標準であるMariaDBを用いる ``` sudo yum install mariadb-server sudo systemctl start mariadb sudo systemctl enable mariadb ``` - server1からDBをマイグレする - 今回に関しては初期化スクリプトがdb以下に存在しているのでそれを利用 ``` cd torb/db ./init-user.sh ./init.sh ``` - （もし手動でマイグレするなら次のようにやる） ``` # dump mysqldump -u isucon -p isuda > torb.dump.sql ``` ``` # DBの作成 isucon@ip-172-31-42-87:~$ cat init_mysql.sh #!/bin/bash cat <<'EOF' | mysql -uroot CREATE USER 'isucon'@'%' IDENTIFIED BY 'isucon'; GRANT ALL ON torb.* TO 'isucon'@'%'; CREATE USER 'isucon'@'localhost' IDENTIFIED BY 'isucon'; GRANT ALL ON torb.* TO 'isucon'@'localhost'; CREATE DATABASE torb; EOF ``` ``` # restore mysql -u isucon -p torb < torb.dump.sql ``` - `/etc/my.cnf` に以下を追記 - (なぜかシンボリックリンクを貼ると設定が反映されなくなるので、直接編集する） ``` [mysqld] ... general_log = 1 general_log_file = /var/log/mariadb/mysql.log slow_query_log = 1 long_query_time = 0 slow_query_log_file = /var/log/mariadb/mysql-slow.sql ``` - slow logが反映されるか確認 ``` echo 'show variables like "%slow%";' | mysql ``` - 各種コマンドを打ってみる ``` mysql -u isucon -p isucon # リモートのサーバにアクセスする場合 mysql -h $REMOTE_HOST -uisucon -p isucon mysql> show databases; mysql> use <db_name> mysql> show tables; ``` ## Server2でappを動かす ``` sudo yum install python3 python3-devel mysql mysql-devel gcc ``` - appはsystemdで動かす - `/etc/systemd/system/torb.python.service` をserver1から持ってくる必要がある - `confs/systemd` の中に入れてGit管理して、シンボリックリンクを貼って管理 - 適切に `/etc/systemd/system/torb.python.service` のパスを設定 - 他のサーバからアクセスできるように、gnicornの設定には `-b '0.0.0.0:8080'` を付与 ``` ./setup.sh ``` - systemdを有効にする ``` sudo systemctl enable torb.python sudo systemctl start torb.python ``` - エラーログは以下のように取得可能 ``` journalctl -u torb.python.service | tail -n 10 ``` ## Server1でNginxを動かす - デフォルトのH2Oをアンインストール - （やり方は調べる） - Nginxのインストール - `/etc/nginx/nginx.conf`, `/etc/nginx/conf.d/default.conf`, `/etc/nginx/log_format.conf` は[事前準備](https://github.com/tkygtr6/isucon8-qualify/tree/84b0604aceedef328149382abea3e2dd2036beb0/confs/nginx)して持ってくる ``` yum install nginx sudo service nginx start # 事前準備したファイルをGitリポジトリで管理 mkdir -p /home/isucon/torb/confs/nginx/conf.d vim /home/isucon/torb/confs/nginx/nginx.conf vim /home/isucon/torb/confs/nginx/conf.d/default.conf vim /home/isucon/torb/confs/nginx/conf.d/log_format.conf # シンボリックリンクを貼る ln -s /home/isucon/torb/confs/nginx/conf.d /etc/nginx/conf.d ln -s /home/isucon/torb/confs/nginx/nginx.conf /etc/nginx/nginx.conf nginx -s reload ``` - curlで挙動を確認 ## ローカルでapp+DBを動かす - 基本的には各自はローカルで作業してサーバにプッシュするスタンスでいく ``` # mysqlのセットアップ brew install mysql mysql.server start cd db ./init-user.sh ./init.sh # Pythonのセットアップ ./setup.sh source venv/bin/activate # 環境変数の読み込み cd webapp/python vim load_env.sh # 後述 source load_env.sh gunicorn app:app -b localhost:8080 --log-level debug ``` ``` # load_env.sh set -a DB_DATABASE=torb DB_HOST=localhost DB_PORT=3306 DB_USER=isucon DB_PASS=isucon ``` - `set -a` は変数をexportするために付与 ## 監視ツールnetdataを入れる - netdataのインストール ``` bash <(curl -Ss https://my-netdata.io/kickstart.sh) all --dont-wait sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service ``` - 19999番ポートにブラウザでアクセス ## デプロイスクリプトを用意する - 「git pull && logの退避 && サービスの再起動」をローカルから行うスクリプト - [こちら](https://github.com/tkygtr6/isucon8-qualify/tree/cb360cbbe325a4e0ded0817122d13b90589512fd/scripts)を参照 ## サーバ分散に伴う設定ファイルの微変更 - `/initialize` が思った通りに機能しなくなる - `./init.sh` の変更 - `-h $REMOTE_HOST` をつける ## N+1問題の解決 - 本当は測定してからやるべきだが、初期状態ではscoreが出ないので最低限の修正をする - mysql.logを見ると `get_event` 内のクエリでN+1が生じていることが容易にわかる - 最低限の修正の例 - https://github.com/tkygtr6/isucon8-qualify/commit/d3680cb74b917ef112b43c52b50fb077675331bd ## ベンチを走らせる - scoreが算出されることを確認 - 走らせた後に、`run_after_bench.sh` を実行 ## alpで重いエンドポイントを特定する - ローカルで動かすのであれば、`brew install alp` ``` cd scripts cat logs/access.log | alp ltsv -m "/admin/api/reports/events/.*,/api/events/.*,/api/users/.*" ``` ## pt-query-digestで重いSQLクエリを特定する - ローカルで動かすのであれば、 `brew install percona-toolkit` ``` cd scripts pt-query-digest logs/mysql-slow.sql > logs/pt.result ```

Syntax	Example	Reference
# Header	Header	基本排版
- Unordered List	Unordered List
1. Ordered List	Ordered List
- [ ] Todo List	Todo List
> Blockquote	Blockquote
Bold font	Bold font
Italics font	Italics font
~~Strikethrough~~	~~Strikethrough~~
19^th^	19^th
H~2~O	H₂O
++Inserted text++	Inserted text
==Marked text==	Marked text
[link text](https:// "title")	Link
![image alt](https:// "title")	Image
`Code`	`Code`	在筆記中貼入程式碼
```javascript var i = 0; ```	`var i = 0;`
:smile:		Emoji list
{%youtube youtube_id %}	Externals
$L^aT_eX$	L^aT_eX
:::info This is a alert area. :::	This is a alert area.