# Retro 22 Feb 2024

## What went well
* мы стартанули воут для sdvt и собрали кворум
* обновили DSM у всех консулов
* обновили КАПИ у всех оракл-холдеров
* несмотря на все тяжелые моменты - мы сделали деплой
*

## What went wrong
* Кирилл и Миша работали ночью
* Процесс просекко зафейлился
* Витя: это не так. Есть ожидание, что команда, которая готовит релиз, сама его толкает. Она просит помощи и задает вопросы. Ожидать, что просекко будет овнить и тянуть этот процесс - бессмысленно. За неделю до релиза просекко и дао опс махали флагом, что в таком состоянии релиз выпускать нельзя. У нас было ожидание, что команды хорошо понимают процесс, учитывая, что ранее участвовали в релизах. У нас нет единой карты, что нужно для релиза - это тейкэвей, который ДАо опс взяли в работу - помощь командам в подготовке релизов.
* Миша: как идея в хелпдеске кидаешь запрос и ставить дедлайн для просекко.
* Витя: было бы сильно лучше, если бы раньше было понятно, что в таком состоянии катить нельзя. Ожидания сильно разошлись - это плохо.
* DAO Ops не устроило что деплой идет не по их флоу, хотя просекко был согласен с деплоем
* Витя:
* В момент тестнета всех все устроило, но в момент мейннета нет
* Витя: когда мы делали ревью делплой плана на тестнете, Витя (и не только) в явную готорил, что для тестнета такой план ок (не хотелось блочить тестнет), но для мейннета нужно сильно поработать с тестами. Это было в явную сказано. Чтобы понять, что нужно сделать - надо было спросить и договориться. Одна из вещеей, которые мы готовим для релизов - тестплан. Если тут был тестплан, то очевидно, он не все вещи покрыл. Ожидания для тестнета по качеству не совпадают с мейннетом. Когда ВалСет пошел писать тесты, стало понятно, что в скрипте косяк. Очевидно, что тесты - нужная штука.
* Кирилл: на просекко и дао опс нужен чеклист, по которому человек из другой команды может пройти и понять, через какие этапы надо пройти. Не было понятно по пунктам, что нужно.
* Витя: с этим согласен. Со своеей стороны нанимаем ребят, которые с этим будут помогать. Тащить это все равно остается за той командой, которая делает релиз. Хотим улучшить работу с ожиданиями. Будет чеклист по процессу релиза. Он вряд ли будет полным т.к. большинство процессов имеют вариативность. В каком-то виде чеклист будет, кастомные вещи надо будет проговаривать все равно отдельно. Хочется, чтобы разговор об ожиданиях начинался не за месяц до релиза, а заметно заранее.
* за неделю до релиза выяснилось что нужно переделывать деплой и план, делать тесты и все это в крайние сроки
* Витя: были ожидания больше чем одного человека, которые были озвучены на этапе релиза в тестнет. И с ними произошло ничего.
* очень плохой инструментарий в scripts репозитории, регрессионные тесты написаны плохо, они опираются на стейт в моменте и будут ломаться со временем
* Миша: потерялось требование, что релизы надо запускать из scripts.
* Саша Т: такого требования не было, было требование запустить регрессионные тесты из scripts.
* Витя: назначить кого-то одного, отвечающего за тесты - такая история нам не подходит. Сейчас тесты приходится чинить тем, кто следующий запускаем омнибус. Мы наняли программиста, одна из задач которого - облегчить работу со скриптами. Но это не означает, что написание тестов и написание их так, чтобы они завтра не сломались - задача ДАО опс команды.
* Витя: тесты были в плохом состоянии, но и стали не лучше после simple DVT.
* многое менялось/добавлялось после устного аппрува в звонке, например github ci, изменения в тестплане
* Кирилл: собираем звонок, после звонка, когда вроде все решено, добавляется ворох чего-нибудь.
* Витя: такое будет происходить, это скорее признак того, что людям не все равно.
* github ci стал блокером, хотя непонятно почему и это не было заранее оговорено
* Витя: такая же история как с ожиданиями.
* Катя: Это в явную указано в чеклисте омнибуса.
* очень разнородный зоопарк иструментов, через которые мы запускаем наши воуты - Brownie, Ganache, нет типов в тестах, тесты выглядят как зоопарк
* Витя: это будет меняться
* плохо документированные тесты, не очевидна структура
* есть ощущение что все закрылись в своих домиках и нет коммуникации между командами
* не было активной вовлеченности со стороны просеко и дао опс в процесс
* Витя: мне кажется, что это не совсем правда. Я знаю, что ребята приходили заранее и спрашивали, нужна ли какая-то помощь с релизом. Мы знаем, что для релиза есть несколько фильтров и их надо пройти. Я считал, что эти шаги очевидны, оказалось это не так. Если ты понимаешь, что есть такой этап - его надо пройти. Если ты не понимаешь - нормальная штука: прийти в просекко и дао опс и спросить, а что вообще делать. Ни просекко не спросили, ни дао опс не просили. Из-за того, что процесс ревью долгий - это взорвалось в последний момент.
* Катя: по сути было два блокера: форум-пост и тесты. Про тесты говорили на релизе в тестнет. Форум пост, учитывая что мы контрибьютив на ДАО, кажется обязательным требованием, когда ты апгрейдишь протокол.
* Саша: Тестплан писали всем миром. в процессе тестов написания (после первой даты релиза) выяснилось, что скрипт голосования работает неверно.
* Витя: просекко и дао опс вовлеклись очень активно. Команды-фильтры не тянут вещи. Задача этих команд: пошарить ожидания и проверить, что они выполнены/не выполнены.
* в процесс ревью просекко не был включен ревью дао-опс
* Катя: это разные процессы.
* изначально нас никто не просил делать это обычным омнибусом
* не было четкого да/нет от просеко - это выглядело как "ну окей, ну можно добавить немножко сценарных тестов" - т.е. "да"
* хочется конкретики от просекко
* нет фидбека по версиям из оракулов (мы не знаем какие версии оракулов ранят наши оракулы)
* automation скрипты в репках в valset tech где-то немного сломаны
* работали в нерабочее время
* нет обратного фидбека на RFCs
* Иззи в личку Жоре написал что он не в курсе изменений, Жора и Рома страдают
* релиз был без тестов
* Катя: у релиза должны быть тесты, которые проверяют, что после него протокол будет работать. В этом случае этого не было.
* у релиза не было поста
* Витя: мы помогаем с аутлайном поста, отвечаем на вопросы, помогаем.
* форта-бота, которого овнит ДАО-опс обновили без апрува от ДАО-опс
* Кирилл: не было особо времени что-то решать, решили потом разбираться. Лучше, если это будет под разными аккаунтами

## Action points
* [ ] писать более детальные экшнпойнты
* [ ] не планировать деплои, энакты и другие важные вещи на праздники/выходные
* [ ] нужно предложить найти 1-2 мейнтейнера репы, которые будут заниматься авто-тестами протокола, они должны понимать протокол
* [ ] нужно предложить просекко иметь свой свой чеклист/алгоритм чтобы дать остальным командам четко понять что у них будут проверять, просекко должно иметь точку синхронизации, при которой они выдают чеклист команде, которая деплоит, на основании того что будет деплоится
* нам надо закладывать (на следующие деплои) время чтобы dao-ops (и другие отделы если надо) заапрувили
* нужно больше TRP
* [ ] нужен план по дальнейшим изменениям onchain (staking router, eips, MEB, VEBO, 3rd phase) [Kirill]
* [ ] узнать про евенты для нашей команды [Kirill]
* [x] создать задачу по созданию системы фидбека версий оракулов у холдеров https://linear.app/lidofi/issue/VAL-719/need-some-sort-of-feedback-system-about-oracles-state-at-holders
* [ ] нужно спросить Женю П что нужны люди на фикс скриптов автоматизации в репозиториях
* [ ] предложить общий канал для общения с консулами
* [ ] нужно собрать звонок по стандартам (планнинг/задачи/регламенты)
* [ ] расписать предварительный план по процессам [Kirill]
* [ ] нужно предложить четко тайм-фреймить время реакции (типа helpdesk)
* [ ] нужно предложить создать единый список onchain алертов в lido
* [ ] нужно выписать свои (valset) onchain алерты в notion
* [ ] осторожно привносить изменения (нежно, но уверенно)