---
# System prepended metadata

title: Система отдачи метрик для SQM

---

# Система отдачи метрик для SQM

Назначение: передать все метрики, собираемые СОВОй, таким образом, чтобы оказывать миниматьное воздействие на работу самой СОВЫ.

Архитектура решения:

```
                            +--------------------------------------------+
                            |    FullMesh in Cluster                     |
                            |          v--+                              v
                            |          |  |                    +---------+---------+   +--------------+
+-------------+       +-----+------+ +------> +-------------+  |                   |   |              |
| Discovery 01|       |  Kafka 01  |   |  |   | Zookeeper 01|  | ClickHouse 01     +<--+ Balancer 01  |
+-------------+       +------------+ <------+ +-------------+  |                   |   |              |
                                       |  |                    +-------------------+   +------+-+-----+
+-------------+       +------------+ +------> +-------------+                                 | ^
| Discovery 02| +---> |  Kafka 02  |   |  |   | Zookeeper 02|                                 v |
+-------------+       +------------+ <------+ +-------------+  +-------------------+   +------+-+-----+
                                       |  |                    |                   |   |              |
+-------------+       +------------+ +------> +-------------+  | ClickHouse 02     +<--+ Balancer 02  |
| Discovery 03|       |  Kafka 03  |   |  |   | Zookeeper 03|  |                   |   |              |
+-------------+       +-----+------+ <------+ +-------------+  +---------+---------+   +--------------+
                            |          |  |                              ^
                            |          +--+                              |
                            |                                            |
                            +--------------------------------------------+

```

* Метрики отсылаются процессами дискавери (сомнительное на мой взгляд решение) в очереди кафки в несколько топиков.(Также подлежит обсуждению.)
* Кластер кафка-зукипер состоит из 6 ВМ
*  2 ВМ под КХ в реплике, основанной на очереди, без вмешательства Zookeeper'а. (Обсуждается)
*  2 ВМ для балансировки запросов чтения на КХ

## Сводная таблица по месту в КХ по МРФ:

Данные за месячную реплику, центр и мос учтены шарды(х2). За день -- сырые данные.

| МРФ      | Сжатое   | Сырое    | За День |
| -------- | -------- | -------- | ------- |
| ДВ       | 66 Гб    | 3.2 Тб   | 105 Гб  |
| Сибирь   | 48 Гб    | 2.1 Тб   | 72  Гб  |
| Центр    | 192 Гб   | 8.3 Тб   | 276 Гб  |
| МОС      | 162 Гб   | 6.4 Тб   | 213 Гб  |
| -------- | -------- | -------- | --------|

Итого, нам потребуется:

На ВМ с CH: Берём место под сжатые метрики + 30% на расширение, 20% свободного места на мерджи.

На ВМ с Кафкой должно быть свободное место в размере сырого за день + 30% расширения

**tl;dr**


| Type |Count| DV                  | SIB                 | Centr               | MOS                 |
| -----|-----| ------------------- | ------------------- | ---------           | ----                |
| ZK   |  x3 | 8cpu,16ram,50hdd    | 8cpu,16ram,50hdd    | 8cpu,16ram,50hdd    | 8cpu,16ram,50hdd    |
| Kafka|  x3 | 8cpu,16ram,250ssd   | 8cpu,16ram,200ssd   | 8cpu,16ram,400ssd   | 8cpu,16ram,300ssd   |
| CH   |  x2 | 32cpu,128ram,100hdd | 32cpu,128ram,100hdd | 32cpu,128ram,300hdd | 32cpu,128ram,300hdd |
| BL   |  x2 | 4cpu,16ram,50hdd    | 4cpu,16ram,50hdd    | 4cpu,16ram,50hdd    | 4cpu,16ram,50hdd    |


