# mimikun主催技術書もくもく会メモ

## 第一回

記念すべき第一回

### mimikun: Webをささえる技術p54から

p131までよみました。えらいっ

#### メモ

- URIには言語の拡張子を示す文字をいれない
- servletとかcgiとか実装依存の文字をいれない
- 実装変えたときURIかわってしまう
- 言語のメソッド名をつけない

### 国見小道：Elasticsearsh実践ガイド impress top gearシリーズ　第1章～

#### 第1章メモ

- Elasticsearchは索引（index）型検索を利用する
- 全文検索システムは3層に分かれていて、下層から検索ライブラリ（例：Apache Lucene）＞検索サーバー（Elasticsearchはここに来る）＞検索システム（クローラー、Web UI）。
- Elasticsearchで作成したインデックスが利用できるのは1つ先のメジャーリリースまで
- シャードと呼ばれる分散配置。データノードを追加するだけでスケールする
- 各シャードに対してレプリカを持たせて高可用性を実現
- REST APIが使える
- ドキュメント指向データベース

## 第二回

### mimikun: webをささえる技術

かなりよんでりかいしました(たぶん)えらい

## 第三回

### 国見小道：Elasticsearsh実践ガイド impress top gearシリーズ　第1章～

#### 第1章メモ（P23～）

- ドキュメント指向データベース ... JSONオブジェクトに表現できさえすれば自由に定義できる
- Elastic Stack ... 可視化のKibana、ログ収集のLogstash、サーバーからのメトリクスデータを収集するBeatsとElasticsearchを連携させたもの
- ElasticsearchとApache Solrは似た者同士、機能に大きな差はない。
- ユースケース
- クローラーのようなサブシステムと組み合わせて全文検索
- アクセスログとアプリケーションログ分析
- 分散システムの横断ログ検索（サーバーレス向き？）
- 異常検知
- IoTデバイスのセンサデータの可視化（Kibana）

#### 第2章メモ（P36～）

- 論理的な概念
- ドキュメント（JSONフォーマット）
- フィールド、Key-Value。文字列や日付などの基本データ型や配列（ネスト可）のような複雑なデータ型も格納できる
- インデックス ... ドキュメントを保存する場所
- ドキュメントにはタイプがある。現在では1つのインデックスに格納できるドキュメントタイプは1つだけ。
- マッピング ... ドキュメント内の各フィールドのデータ構造やデータ型を記述した情報
- P42の概念図がよくわかる！

- 物理的な概念
- ノード ... Elasticsearchが動作する各サーバーのこと。各ノードは一意のノード名を持つ
- クラスタ ... メッセージを送信しあったりして、強調して動作するノードグループのこと。一意のクラスタ名をもつ
- シャード ... インデックスのデータを一定数に分割して、異なるノードで分散保持する。この分割した各部分のこと。シャードの実態は各ノード上に作られるLuceneインデックスファイル
- レプリカ ... 複製されたシャード。高可用性を実現するためのもの
- P45の概念図がよい。

##### Elasticsearchのシステム構成

4種類のノード種別がある。ノード（サーバー）1台に複数の属性を持たせることもできる。

- Masterノード
- Dataノード
- Ingestノード
- Coordinatingノード

各ノード種別の解説。（P46～）ここから第4回

- Masterノード
- クラスタは、必ず1台のMasterノードを持つ必要がある。
- ノードの参加と離脱の管理をする。
- クラスタメタデータの管理をする。
- シャードの割り当てと再配置をする。
- Dataノード
- データの格納、クエリへの応答、クライアントから受け付けたリクエストのハンドリング。クエリ処理の場合は、クエリ内容に対応する1つ以上のシャードを持つノードへルーティングを行い（scatterフェーズと呼ばれる）、各ノードからのレスポンスを集約して（gatherフェーズと呼ばれる）、まとめられたえっかをクライアントへ応答する。デフォルトではすべてのノードはDataノードの役割を持っている。
- Ingestノード
- 5.0から新しく登場した。従来Logstashで行う処理を実行できる機能。デフォルトではすべてのノードはIngestノードの役割を持っている。
- Coordinatingノード
- クライアントからのリクエストのハンドリングのみを実行する。つまり、インデックス処理時に適切なプライマリシャードを持つDataノードへルーティングを行う、あるいはクエリ処理時にscatterとgatherを専門に行うためのノード。こちらもデフォでON。

## 2020/03/28 （第？回）

### 国見小道：Elasticsearsh実践ガイド impress top gearシリーズ　第2章P51～

- Masterノード選定
- スプリットブレインという、クラスタが分割される事象が発生するケースがある。
- それを防ぐために、Master-eligibleノードの数を3以上の奇数にする
- あと、elasticsearch.yml設定ファイルのパラメータ `discovery.zen.minimum_master_nodes`の数をMaster-eligibleノード数の過半数に設定する
- 過半数の算出方法もある（今は重要じゃないので明記しない）

- ノードのクラスタ参加
- 「discovery」と呼ばれている。Elasticsearch内蔵。
- デフォルトではZen discoveryというメカニズムが使われる。
- 他には、AzureやAWSなどで、各クラウド固有のノード間通信のためのdiscoveryモジュールがある。

- シャードとレプリカの配置設定について
- シャード数をインデックス作成時に決定する必要がある。シャード数はいくつが適切か？
- 拡張可能なノード数に合わせてシャード数を設定する
- インデックスに格納するデータサイズが十分小さい場合にはシャード数を1にする
- 検索負荷が高い場合にはレプリカ数も増やす
- バルクインデックスなどバッチ処理の際はレプリカ数を一時的に0にする