# 社内会議:バックエンドチームプランニング - 水越さん進捗管理 - 佐藤さんは水越さんを自分の管理下に入れたいのでは？(土屋) - 木村優太さんは水越さんの進捗管理を中西さんに任せた(中西) - 未定(来週以降に決定) - (議事録)土屋さんが毎朝、水越さんのフォローをする - 薮田さん終了は本当に9月末？ - まだ告げておらず、結局ズルズルと現体制をひきづる可能性があるのでは？ - さすがに切るはず - 佐藤さんに告げるのはいつ？ - 結局、薮田さんと仲良しなのは佐藤さんなので、佐藤さん主体で巻き取った方が良い - これも社長から告げた方が良いのでは？ - そもそも佐藤さんのやれる環境になってないはずだから、佐藤さんのやりたいことができる環境に近づけるために良いことなのでは？ - 佐藤さんも木村優太さん体制を良く思ってないのであれば、木村優太さん下ろしの件と同時に薮田さん契約終了話してみては？ - (議事録)社長から話すのは確かだが、佐藤さんに巻き取ってもらうのは難しい(中西) - (議事録)佐藤さんに話すのは薮田さんに話すより先のはず(中西) - backendチーム巻き取り状況 - 現状 - 原田さんが残したドキュメントは目を通した - 妹尾さんが残したドキュメントも目は通した - 新レコメンド機能の繋ぎこみに必要な配信サーバの改修部分(alias)も調査完了 - デプロイ、再起動のメモも目は通した - codeDeployのデプロイグループも見た - 管理されてない状況だった - その他、EC2インスタンスの一覧もローカルで作成し、不明なインスタンスがあった - redis-clusterの3台構成の1slaveが死んだ状態だったことが発覚した - まずどこから問題が発生しそうか？で調査の優先度 - 案 - ソースとrepositoryとの差分 - 現状わかってるのはpythonの部分だけ(望月) - pythonの部分なら水越さんにお願いできそう - やった方が良いには良い(タテダ) - beaconサーバーの挙動を追う - zabbixの監視 - タテダはアカウント無いから見れない - redis-clusterのslave復活 - リストの割にあまりメリットが無いという判断で現在は放置して調査してない - リプレイスを待つ方が良さそうか - (議事録)佐藤さんの配信ロジックの辺りではないか(土屋) - (議事録)過去のトラブルを一覧化してみるのはどうか？(望月) - タテダやります - トラブル一覧化はしなかったが、不具合共有のesaページは全て見た。 - zabbixアカウントが欲しい - 通知設定を見たいため - RedMineに管理者のユーザ名とパスワードあったため、不要となった - RedMineに管理者パスワード書いてるという別の問題が発覚 ## 調査をすべきだなぁと思ったところ - beacon - pl-trunk-beaconの全15台中でCPUが100%であることが発覚 - 原因はCPUが2個であるのにjavaアプリケーションを5つ立ち上げているため、コンテキストスイッチが大量に発生したこと。ロードアベレージが16という状態 - 1.0以上になると良くないので16以上というのはかなり重い状態 - 物理サーバだと火災が発生する事象 - adfraud - - リタゲ - その他 ## 7/19以降に着手したいこと - 可能ならredis-cluster3のslaveを復旧して、復旧手順をドキュメントに残すように薮田さんに依頼したい。 - 可能ならpl-trunk-streaming-imp1を復旧して、復旧手順をドキュメントに残すように薮田さんに依頼したい。 - 可能ならpl-trunk-streaming-imp7のzabbixエージェントを復旧して、復旧手順をドキュメントに残すように薮田さんに依頼したい。 - `pl-trunk-addaemon`系のサーバ群はdocker-containerが稼働しており、おそらくテスト時代の残骸であるがメモリも使っていて邪魔なので削除したい。 - 可能ならRedMineの完了したチケットは、closeステータスに更新するように薮田さんに依頼したい。 - `pikalift-peformance-adserver-second` で`drawbridge-assembly-0.1.0.jar`が稼働中なので止めたい - 中西さんを薮田さんslackに入れてほしい - ちょっと掘さんには外れてほしい - 単純に広まるべきではないことも広まってしまうため - システム構成図を作りたい - 妹尾さんがざっくり作ったものがあったが、メンテできない画像ファイルであるため、今後も更新し続けられる状態で作りたい - zabbixの警告通知設定を、メモリ使用率50%超えから60%超えに変更 - 現状、ほぼ全てのインスタンスで常に警告を吐き続けており、誰も通知を見なくなってしまっている。 - `pl-trunk-beacon-drawbridge1` に対する `本番drawbridgeサーバー1` というzabbixの設定は消したい。 - スラックチャンネルの調査 - `#cache_counter_notice` の境界値を訊く - `#pl_trunk_api_rt_alert` のチャンネルはどういう理由、経緯で作られたものなのか訊いて、要らなければ消す ``` livedoorに100回りクエストしてレスポンスタイムが平均0.3秒超えたらアラート ``` - 障害再発防止策をちゃんと検討したい - esaの「不具合共有」のページを見ると下記の文章散逸 - 再発防止が `TODO`のままか`不明` - 原因が`〇〇が停止したから`と記述されて停止した理由を調査していない。 - 解決方法が`再起動` - 再発防止が完了したものはタイトルでわかるようにしたい - `【完了】`とかつけたい - システム構成図を更新したい https://is-na.esa.io/posts/264 - さくらのVPSはまだ使ってるのか不明 - jarファイルを/tmp下に置いて自動的に消えてしまう設定になっているため、pikalift-frontリポジトリのappspec.ymlを改修して他の場所に移したい - esa整理 - 木村優太さんがいなくなったらesaの`WIP`状態を無くしたい - 個人フォルダの情報をあるべき階層へ移動したい - 不具合共有のページは完了した事例であれば、対応完了のパスへ移動したい ------------------ ### 薮田さん作業 - 集計周り　水越さんに引き継ぎ - ロジック　疎結合化　3ヶ月程度かかる - 海外　 ------------------ ### 話し合い - 引き継ぎをしないのはわかっている - 疎結合化は、原田さんが言っていたことであって薮田さんが具体的にどういった作業をするのか、誰もわからないのであれば意味が無い - 障害が少ない今の状態からまた障害が発生する頻発する状態にされると却って困る ------------------ ### 結論 - [ ] 薮田さんの契約は9月でやはり切る - [ ] 29日に佐藤さんに言う - [ ] 29日まで水越さんにも言わない - [ ] 中西さんには薮田さんとの会議、slackに入ってもらう - [x] 木村優太さんがネイティブアド事業部から離れることは来週水曜(24日)に公式に告知される ------------------