# Система отдачи метрик для SQM

Назначение: передать все метрики, собираемые СОВОй, таким образом, чтобы оказывать миниматьное воздействие на работу самой СОВЫ.

Архитектура решения:

                            +--------------------------------------------+
                            |    FullMesh in Cluster                     |
                            |          v--+                              v
                            |          |  |                    +---------+---------+   +--------------+
+-------------+       +-----+------+ +------> +-------------+  |                   |   |              |
| Discovery 01|       |  Kafka 01  |   |  |   | Zookeeper 01|  | ClickHouse 01     +<--+ Balancer 01  |
+-------------+       +------------+ <------+ +-------------+  |                   |   |              |
                                       |  |                    +-------------------+   +------+-+-----+
+-------------+       +------------+ +------> +-------------+                                 | ^
| Discovery 02| +---> |  Kafka 02  |   |  |   | Zookeeper 02|                                 v |
+-------------+       +------------+ <------+ +-------------+  +-------------------+   +------+-+-----+
                                       |  |                    |                   |   |              |
+-------------+       +------------+ +------> +-------------+  | ClickHouse 02     +<--+ Balancer 02  |
| Discovery 03|       |  Kafka 03  |   |  |   | Zookeeper 03|  |                   |   |              |
+-------------+       +-----+------+ <------+ +-------------+  +---------+---------+   +--------------+
                            |          |  |                              ^
                            |          +--+                              |
                            |                                            |
                            +--------------------------------------------+

* Метрики отсылаются процессами дискавери (сомнительное на мой взгляд решение) в очереди кафки в несколько топиков.(Также подлежит обсуждению.)
* Кластер кафка-зукипер состоит из 6 ВМ
* 2 ВМ под КХ в реплике, основанной на очереди, без вмешательства Zookeeper'а. (Обсуждается)
* 2 ВМ для балансировки запросов чтения на КХ

## Сводная таблица по месту в КХ по МРФ:

Данные за месячную реплику, центр и мос учтены шарды(х2). За день -- сырые данные.

| МРФ | Сжатое | Сырое | За День |
| -------- | -------- | -------- | ------- |
| ДВ | 66 Гб | 3.2 Тб | 105 Гб |
| Сибирь | 48 Гб | 2.1 Тб | 72 Гб |
| Центр | 192 Гб | 8.3 Тб | 276 Гб |
| МОС | 162 Гб | 6.4 Тб | 213 Гб |
| -------- | -------- | -------- | --------|

Итого, нам потребуется:

На ВМ с CH: Берём место под сжатые метрики + 30% на расширение, 20% свободного места на мерджи.

На ВМ с Кафкой должно быть свободное место в размере сырого за день + 30% расширения

**tl;dr**

| Type |Count| DV | SIB | Centr | MOS |
| -----|-----| ------------------- | ------------------- | --------- | ---- |
| ZK | x3 | 8cpu,16ram,50hdd | 8cpu,16ram,50hdd | 8cpu,16ram,50hdd | 8cpu,16ram,50hdd |
| Kafka| x3 | 8cpu,16ram,250ssd | 8cpu,16ram,200ssd | 8cpu,16ram,400ssd | 8cpu,16ram,300ssd |
| CH | x2 | 32cpu,128ram,100hdd | 32cpu,128ram,100hdd | 32cpu,128ram,300hdd | 32cpu,128ram,300hdd |
| BL | x2 | 4cpu,16ram,50hdd | 4cpu,16ram,50hdd | 4cpu,16ram,50hdd | 4cpu,16ram,50hdd |