---
tags: PM, Learning
---

# Product Sense: Product Mindset Advanced

Домашняя работа:
- Таймлайн
- Определить на каком этап жизненного цикла находится продукт
- Выбрать приоритет развития (GEM)
- Скорректировать вижон и стратегию

# 1. Вводная
## Работаем с тремя измерениями
- С Прошлым
- рефлексия, анализ, понять прошлое и сделать из него выводы
- важно понять как мы оказались здесь перед планированием стратегии на будущее
- С Настоящим
- проводим основную работу, принимаем решения
- С Будущим
- стратегирование (работа с неопределенностью, прогнозы, управление ожиданиями)
- планирование (выстраивание последовательности шагов на относительно короткий срок)

## Практика - Таймлайн (анализ прошлого)

- отмечаем на временной линейке положительные и отрицательыне события (красное и зеленое)
- сопоставляем события с бизнес метриками - график метрики можно наложить прямо на таймлайн
- выносим выводы (внизу желтое)

MIRO - Удобный сервис для построения timeline

## Question Storming (Q-Storming) (анализ прошлого)
С точки зрения фасилитации:
- мышление вопросами позволяет выйти за пределы контекста (иначе при мышлении ответами все ответы будут связаны с текущим контекстом)
- каждый в группе задает вопросы по выбранной теме
- далее вопросы группируются
- далее погружаемся в еще одну итерацию внутри группы, чтобы уточнить по вопросам
**ЗАДАНИЕ:** Выбрать тему для проведения QStorming в своей команде.

## Презентация ценности продукта (Pitch) (в настоящем)
Проблема + Воображаемое Решение (образ лучшего будущего) + Продукт = ПИТЧ
АД + РАЙ + СПОСОБ превратить АД в РАЙ = ПИТЧ

При продумывании Питча можно лучше проанализировать позиционарование и стратегию разработки продукта. Чем короче и ёмче питч, тем проще слушателям вникать.
!!В Раю и продукте решенная проблема, не должна выглядеть уже, чем описанная в Аду

Описание Ада при питче:
- Кто испытывает проблему
- Что за проблема
- В каком Контексте, в том числе причина проблемы, которую собираемся устранять

Описание Рая (АнтиАд) при питче:
- помещение слушателя в илюзорное окружение, в котором проблема решена
- Воображаемое идеальное решение, противопоставляющее ад

Описание продукта:
- Тонкий намек, на то что наш продукт как раз это делает
- ДОбавить изюминку позиционирования, если на рынке уже есть конкуренты

# 2. Конкурентная разведка (CI - Competitive Intelligence)
Процесс сбора, анализа, дистрибуции и мониторинга информации об окруающей бизнес-среде.
Каналы привлечения важны для PM. Если их не анализировать то можно попасть в ловушку и не получить необходимый трафик для продукта.

## Когда нужен CI:
- запуск нового продукта - перед разработкой необходимо понять в какую сторону нужно развивать продукт, на какой рынок будем выходить.
- масштабирование, территориальная экспансия - изучить специфику рынка на новой территории, вожможно придется поправить маркетинг.
- оценка своего положения - являемся ли лидером? как использовать это преимущество?
- увидеть угрозы - новые игроки могут отобрать часть рынка
- подсмотреть успешные практики у конкурентов

## CI Loop фреймворк
- анализируем индустрию (тренды, игроки, доли рынка, стартапы)
- сравниваем себя с индустрией и конкурентами (ключевые конкуренты, стратегия привлечения трафика, продукт вижон, целевая аудитория)
- анализируем потенциальные возможности (gap анализ, топ-контент, незакрытые потребности ЦА)
- Информируем всех (менеджмент, PMs, команда маркетинга)
- актуализируем информацию

## Анализ рынка

## Дедуктивно: индустрия, лидеры, тенденции -> Продукты, маркетинг
- Изменение технологий
- Изменение паттернов поведения
- Изменение правил игры (новые продукты, модели, дисрапция)
- Изменение распределения сил (появление лидеров, изменение позиций)
- Внешние вмешательства (изменение законодательства)

## Индуктивно: Продукт, конкуренты -> Индустрия, трендны, ландшафт

## ШАГ 1: Определить среду для анализа:
- выписать всех конкурентов
- прямых (делают такие же продукты, подсматриваем фичи у друг друга)
- коственных (продукты решающие такую же проблему, иногда бесплатные)
- конкуренты компании в целом (если компания не моно-продуктовая)
- конкуренты за каналы привлечения
- компании, которые таргетируются на такую же ЦА, но с другим не конкурирующим продуктом заберут у нас долю трафика
- ищем общую информацию о трендах
- зрелость рынка
- Молодой - гигантов нет, начинающих много (стекаются pre-seed\seed инвестиции). Потребителей не много, но активно растут
- Зрелый - Много маленьких компаний, инвестиций и клиентов много, продукты понятны
- Стареющий рынок - Есть крупные лидеры, сложно зайти на рынок

Инструменты поиска конкурентов:
- google - вбиваем запрос и смотрим какие конкуренты в выдаче с нами.
- alexa.com
- semrush.com
- ahrefs.com
- similarweb.com - куча информации прям с бесплатного лендинга
- crunchbase.com
- gartner.com

## ШАГ 2: Сегментация - сузить фокус

* Квадрант, BCG матрица.

Semrush growth - сегментация по трафику
- доля рынка = доля трафика
- скорость роста = рост трафика
> см также Gartner magic quadrant

## ШАГ 3: Географическая сегментация

## ШАГ 4: Приоретизация по параметрам
Для того чтобы выбрать нишу для продукта

## Анализ Продукта
Сравнение характеристик продукта с самыми жирными конкурентами и дисрапторами (battle-cards, SWOT)
- Недостатки (слабые стороны) в беклог
- Преимущества (сильные стороны) в маркетинг
- SWOT необходимо проделывать относительно конкурентов
- можно и относительно рынка, но этот уровень может быть недостаточен для фокусировки в стратегии
- возможности - это про новые потенциальные направления

Что анализировать:
- фичи
- цены
- отзывы
- ЦА
- технологии
- планы на развитие (родмапы, стратегии для публичных компаний)
- маркетинг
- отраслевые предложения (для B2B)

Источники информации:
- Демо (в т.ч от сеилзов)
- Ручное тестирование продукта
- Разделы о фичах и ценах на сайте
- Трекинг изменений HTML (visualping.io)
- Рекламные объявления
- Соц.сети
- Сайты с отзывами
- Форумы с клиентами
- Отзывы на сайтах с вакансиями

## Разбор домашек
Каналы коммуникации с кастомерами - по ним доносим маркетинговое сообщение, ищем нашу аудиторию
- online
- offline
- online to offiline
КОнтент + SEO = органический бесплатный трафик. Необходимо дать понять поисковикам о чем ваш продукт, чтобы получить релевантную поисковую выдачу для целевой аудиториии

semrush > Top Pages - анализ трафика топовых страниц
ahrefs - есть бесплатная аналитика поисковых запросов

# 3. Стратегия

**Планирование** — это оптимальное распределение ресурсов для достижения поставленных целей

Работа над стратегией (два встречных потока работы)
- Стратегирование - от целевого состояния к стратегическим задачам (Future Back)
- Планирование - от текущих возможностей к стратегическим задачам

Стратегия должна отвечать на вопросы «зачем?» и «как?».

- Миссия (конечная точка, картина будущего, но не должно быть финансовым показателем)
- Видение (понимание ценности миссии, как мы встроимся в картину будущего)
- Стратегическое направление (ограничение, которое нужно преодолеть, или ставка на возможность)
- Стратегический контекст (понимание рынка после анализа конкурентов, возможностей компании)

## VUCA

- Volatility, uncertainty, complexity and ambiguity (неустойчивость, неопределенность, сложность и двусмысленность).

Volatility - быстые изменения
Uncertainty - неопределенность настоящего
Complexity - много факторов при принятии решений
Ambiguity - неоднозначность последствий

Если на рынке появляется Disruptor, он может поменять структуру спроса на рынке - чтобы отреагировать на это изменение необходима гибкая стратегия (слушаем рынок -> изменяем продукт -> изменяем структуру бизнеса)

В условиях VUCA-мира может существовать только абстрактная Agile-компания и ее продукт, которые быстро и гибко реагируют на все внешние изменения.
Недостаток: даже если всего лишь несколько Agile-команд работают бок о бок, они уже становятся не инструментом раскрытия неопределенности, а ее источником — фактически, порождают хаос.

Четкий прогноз\план действий не работают - вместо этого можно выбрать будущее и добиться его осуществления (подход Future Back - ретроспективный прогноз)

## Три зоны будущего
- Неизбежное будущее — то, к чему необходимо готовить компанию.
- Невозможное будущее — все решения, которые будут нацелены на его достижение, в лучшем случае приведут к бесполезной затрате усилий.
- Пространство выбора — зона влияния на которую направлена стратегия.

**PDCA (Plan, Do, Check, Act)** - для стабильной ситуации. Нормально для реализации операционной деятельности, управления командой разработки, но тут проблема, что нет внимания к внешник объектам (нет внимания к будущему и изменениям рынка)

**OODA (Observe, Orient, Decide, Act)** - для ситуации с большими рисками и неизвестностью

Иновационная стратегия - это как правило такая стратегия, когда нет возможности применить Data-Driven подход, и Customer Development. Возможно развитие продукта только вместе с развитием пользователей.

Будущее нельзя (и не нужно предсказывать), но можно и нужно быть готовым к возможностям.


> Литература: Zone to Win. Geofrey Moore.

## Виды стратегий
- Стратегия компании (5-10 лет)
- Рыночная\продуктовая стратегия (2-5 лет) - какие продукты создавать и развивать
- Стратегия продукта (1-2 года) - как создавать продукт, как масимально использовать его потенциал
- Функциональная стратегия (1 год)
- Техологическая стратегия (1-10 лет)


Мы сами влияем на создание будущего в определенном диапазоне, наши решения влияют на решения людей на рынке - область с проактивной стратегией (возможно занять позицию дисраптора)

Форсайт - это не про следование трендам, а про масштабные изменения культуры, паттернов поведения пользователей

Стратегия - как мы реализуем видение продукта, как мы используем возможности рынка.

Стратегия
- позволяет получать необходимые ресурсы для достижения результатов
- обеспечивать эффективное взаимодействие всех структур компании

Задачи на жизненном цикле продукта:
- Исследование (Lean, GIST)
- Рост (Grows Hacking, Design Methodology)
- Product Market Hit - если мы зацепились за рынок
- Оптимизация (OKR, Data Driven)
- Product Market Fit - состояние, когда мы полностью соотвествуем требованиям рынка, достигнутому в процессе эволюции продукта. Здесь есть точка MMP (Maximum Possible Product) - если что-то добавлять, то это только портить продукт. Мы взяли максимум аудитории с рынка. Здесь очень хорошо работает DDDM.
- Активная защита (Поддерживающая технология) - здесь размывается граница между изменением продукта с раширением ниши (меняем Product Market Fit - проактивная стратегия), или изменяем только характеристики продукта, защищая свое текущее положение.
- Лидерство на рынке. открытыие новых возможностей (Disruptor Opportunity)

GEM Practice (Три приоритета развития продукта. Гилберт) - на конкурентном рынке для обеспечения хорошего развития продукта необходимо выбрать ТОЛЬКО один из приоритетов (они взаимно исключают друг друга).
- Growth - Рост - Измеряется темпами увеличения аудитории в год.
- Engagement - Вовлечение и качество продукта. Измеряется ежемесячным удержанием (Retention, MAU). Можно думать об этом, как о прокси качества продукта.
- Monetization - Монетизация. Как правило, измеряется по LTV и валовой прибыли. https://www.adjust.com/glossary/lifetime-value/

Антипаттерн: новый молодой продукт на рынке. Если у него низкое качество (следовательно низкий Retention), то стратегия направленная на рост (вкладывание денег в привлечение новых пользователей) будет бессмысленной, так как потери пользователей и репутации продукта (из-за плохого NPS в том числе) могут стать угрожающе большими. В этом случае лучше построить стратегию направленную на качество (Engagement).

При выборе приоритета можно ориентироваться на текущий этап жизненного цикла продукта.
Другой способ разделения на этапы ЖЦ продукта
- Start-Game - Этап начальной подготовки — поиск решения проблемы потенциальных кастомеров.
- Mid-Game - Этап роста и развития — рост соответствия продукта рынку. Начинается, когда создан минимально жизнеспособный продукт (MVP) и появились первые покупатели. Завершается созданием максимально возможного продукта (MPP — Maximum Possible Product). Этот этап предполагает также налаживание и совершенствование бизнес-процессов.
- End-Game - поддержка продукта. Необходимо предвидеть и предотвратить стагнацию развития, защитить продукт, чтобы он не потерял свой рынок.

S-curve (кривая развития технической системы или проекта) — это универсальный закон, который описывает этапы развития любой системы (не только ИТ):
- любое экспоненциальное развитие на определенном этапе замедляется, так как бесконечный рост невозможен. Поэтому рост любых ключевых показателей системы на некотором предельном для них уровне замедляется или останавливается.
- этапы насыщения продукта функциями отлично стыкуются с развитием продукта на рынке и охватом аудитории.
- Каждый этап жизненного цикла подразумевает свои цели и стратегические задачи.

### Типы Бызовых эволюционных стратегий

1. Рост (Forward). В вашем сегменте есть неохваченная аудитория?
a. Возможность расширить канал и привлечь аудиторию (Growth Hacking, Design Methodology).
2. Go Deep. Насколько клиенты довольны?
a. Насколько полно ваш продукт решает проблемы клиентов?
b. Возможность углубления, создания заградительных барьеров, повышения качества продукта.
3. Go Up (Премиум). На вашем рынке есть клиенты, которые готовы платить больше?
a. Возможность выйти в более высокую ценовую группу по кривой спроса и предложения.
4. Go Down. Насколько снижение цены может расширить вашу аудиторию?
a. Возможность смещения продукта в сторону большей доступности.
b. Возможность создания Freemium-модели, в рамках которой вы можете добиться максимальной конверсии в пользователей.
5. Go Wide. Какие еще рынки могут быть заинтересованы в использовании вашей технологии?
a. Горизонтальная стратегия — расширение аудитории за счет унификации решаемых задач.
6. Side. Какие еще проблемы наших клиентов мы можем решить?
a. Расширение линейки, создание продуктов в смежных нишах.
7. Focus. Какая часть продукта наиболее востребована?
a. Возможность репозиционирования продукта или сужения линейки продуктов.
8. Pivot. Какими возможностями мы жертвуем, фокусируясь именно на этой целевой аудитории и проблеме?
a. Разворот, смена целевой аудитории для существующего решения.
9. Пропаганда. Вы можете растить свой рынок с помощью формирования спроса?
a. Возможность формировать спрос с помощью контента или дополнительных продуктов.
10. Ecosystem. Партнерство с какими продуктами позволит нам повысить ценность продукта?
a. Партнерские возможности. Создание сети взаимосвязанных продуктов.

Для того чтобы откусить у кого-то сегмент рынка:
- нужно четко определить целевую аудиторию
- или иметь инсайт вокруг которого построим свою стратегию
- проработать базовые требования к продукту (квалификаторы, Кано-модель)
- определить что будет нашим преимуществом (order winers)
> со временем происходит такой процесс.
> future order winers (FOW) -> order winers -> квалификаторы


## 4. Бизнес-планирование

https://docs.google.com/spreadsheets/d/1Zpegkckl2B52UHBrtvp0ijjQunjeg2HDFiQApuKh6Iw/edit#gid=264279212

### Структура бизнес-плана
- Резюме - краткое описание проекта, ключевые характеристики и фин.показатели
- Описание продукта
- Анализ целевого рынка и конкурентной среды
- Описание необходимых производственных ресурсов и процессов
- Маркетинговый план
- Организационная структура
- Финансовый план

Лучшие практики составления бизнес-плана:
- Вводные (Input) - в одном месте, удобно охватить взглядом
- Цветовое оформление (выделение разными цветами вводных и расчетных данных)
- Допущения обоснованы и аргументированы. Модель бизнеса проверена на чувствительность к допущениям и выявлены зоны риска
- Расчеты должны быть простые. Разбиты на шаги, легко проверяемые
- Выводы - быстро считываются. Могут быть ключевые вещи без деталей

### Финансовый план
Не всегда целью проекта является получение прибыли (улучшение эффективности других подразделений, имиджевый\стратегический эффект, реакция на изменения в законодательстве).

- Бюджет доходов и расходов (БДР, Profit & Loss (P&L))
- Бюджет движения денежных средств (БДДС, Cash Flow (CF))
- Прогнозный балланс предприятия\бизнес-юнита (для планирования деятельности)

### БДР, Profit & Loss (P&L)
Может быть составлени для следующих объектов чтобы получить выводы об их рентабельности:
- Продукты компании.
- Каналы сбыта.
- Подразделения компании / бизнес-юнита.
- Клиенты / группы клиентов.
- Регионы.

Структура БДР:
- Выручка (за исключением себестоимости продаж (COGS))
- Валовая прибыль (без коммерческих и управленческих расходов)
- Прибыль от продаж (доходы - расходы, в том числе по финансовым активам)
- Прибыль до налогообложения (без налога на прибыль)
- Чистая прибыль

Доходы (income) — увеличение экономических выгод в форме прироста активов или уменьшения обязательств, результатом чего является увеличение капитала.

Выручка (Доход, Оборот) - это не деньги, а начисление, как факт совершения хозяйственной операции. Фактический расчет по операции может быть произведен сильно позже. (см. НК РФ, статья 39)

OPEX - Operational Expences - операционные расходы.
CAPEX - Capital Expenditure - капитальные вложения.
> Для БДР CAPEX не учитывается, принимаются во внимание только амортизационные начисления. Но CAPEX необходимо учитывать при оценке рентабельности инвестиций.
>
### Маржинальный подход к оценке бизнеса
* Валовая прибыль (Gross Profit) = Выручка - Себестоимость продаж (COGS)
Зависит от того, как определяется COGS, по этоме использвется реже. Должен быть близок к маржинальной прибыли.
* Прибыль от продаж (Operating Profit) = Выручка - OPEX
или: Прибыль от продаж = Валовая прибыль − Управленческие расходы − Коммерческие расходы
* Маржинальная прибыль (margin revenue (MR)) — это выручка за вычетом переменных расходов (VC). Наиважнейший показатель, говорящий о целесообразности ведения бизнеса.

#### Определение точки безубыточности (Break-even analysis)
Q — выручка.
q — количество проданных единиц.
VC — переменные расходы.
FC — постоянные расходы.
AVC — переменные расходы на единицу продукции.
p — цена за единицу продукции.

AMR (удельная маржинальная прибыль(прибыль на единицу продукции)) = p – AVC

 
q* - кол-во единиц товара, которые необходимо продать чтобы получить целевой результат (точку безубыточности или прибыль).

#### Расчет запаса фиансовой прочности


#### Юнит-экономика
Юнит-экономика - одна из модификаций маржинального подхода.
Концентрируется на стоимости привлечения клиента. Все доходы и расходы привязываются к времени жизни клиента (Life-Time (LT)).

#### Прочие доходы и расходы
У компании могут быть доходы и расходы не связанные с основной деятельностью:
- сдача имущества в аренду
- операции с финансовыми активами, процентные доходы
- и др

Прибыль до налогообложения = Прибыль от продаж − Проценты к уплате − Прочие расходы + Проценты к получению + Прочие доходы

Чистая прибыль = Прибыль до налогообложения − налог на прибыль

#### Другие виды прибыли
* EBITDA (Earnings Before Interest, Taxes, Depreciation and Amortization) прибыль до уплаты процентов, налогов и амортизации. Полезно для сравнения бизнесов в разных странах, так как нивелирует влияние особенностей налогообложения и кредитования в разных странах.

EBITDA = Прибыль до налогообложения − Финансовые доходы + Финансовые расходы + Амортизационные начисления

* NOPAT (Net Operation Profit After Taxes, также EBIAT, Earnings Before Interest After Taxes) — чистая операционная прибыль после налогообложения. На базе этого показателя (после вычета NET CAPEX, применения ставки дисконтирования) рассчитывается инвестиционная привлекательность проекта.

NOPAT = Чистая прибыль – Финансовые доходы + Финансовые расходы.

#### Рентабельность

Рентабельность (Return on XXXX) — это отношение между прибылью и некоторой базой.
В качестве Прибыли можно использовать любой вид, но главное понимать в чем смысл.
В качестве базы:
- Выручка (ROS - Return on sales) - получим долю прибыли в доходах за период.
- Расходы - поймем насколько окупились наши расходы.
- Нефинансовые показатели (например кол-во сотрудников) - поймем сколько приносит сотрудник в среднем
- Средняя величина капитала\активов - получим возврат от инвестиций (ROA, ROACE, ROC, ROI, ROIC)

# 5. Вовлеченность (User Engagement)

## Engagement vs Retention
Внимание пользователя, его активность внутри приложения и желание побыстрее вернуться обратно — это и есть вовлечение, engagement.

**Retention** - показывает, достигнуто ли состояние product\market fit, стал ли продукт привычкой. (например Retention на день N - какая часть пользователей сделала заказ через N дней).


**Вовлеченность** — это внутреннее состояние пользователя. Во время использования приложения оно соответствует состоянию потока. В этом состоянии пользователь перестает замечать, как летит время, и фокусируется исключительно на приложении. Между сессиями вовлеченность — это желание воспользоваться продуктом снова, желание использовать его все чаще и проводить в нем все больше времени.

> Хороший Retention не всегда будет гарантировать вовлеченность, что, впрочем, работает и в обратную сторону.

Churn Rate - метрика, обратная Retention.

> «в решете воды не удержишь». Если цель вашего продукта — быстрый рост активной аудитории, а плато в долгосрочном Retention нет, то все пользователи будут уходить из продукта, как вода сквозь решето.

## Экономика внимания

**Внимание** - самый ценный ресурс. Все больше b2c стартапов запускаются вообще без монетизации, в расчете на быстрый рост. А компании, успешно отвоевавшие свое место во внимании клиентов, строят экосистемы, чтобы монетизировать это внимание.

Метрика: средняя длительность сессии

## Воронка вовлечения
Удобство -> Удовольствие -> Привычка

### Удобство
На ранних этапах жизни продукта (бизнес-модель еще не устойчива или не найдена) важно фокусироваться на пользе и качестве для клиента, решать боль клиента.
Проблемя для Вовлеченности: легко выпасть из сфокусированности из потока из-за тормозов приложения, топика в CJM, когда приходится задуматься, что делать дальше.

Ключевая метрика: Retention в заказ или вход в приложение.
Фокус на оптимизации конверсионной воронки (фреймфорк AAARRR: [Product Sense & Growth Academy - Growth Hacking](https://hackmd.io/ppnl8yAKTtyJJcEhHFeUQQ))

### Удовольствие
Когда продукт стал удобным и приятным - важными становятся положительные эмоции. Способы создания:
- стимуляция исследовательского инстинкта (FOMO-эффект). Эффективность зависит от качества "открытий".
- награждение быстрым дофамином (вау-эффекты). Неожиданные подарки, благодарности, кэшбеки. Эффективность зависит от качества и внезапности. Если клиент ожидал этого заранее - ничего не получится.
- классические развлекательные инструменты (игры, видео, аудио, тексты) - контент должен быть тематическим и полезным (скидки и бонусы за игру). Важно сохранять свою утилитарность (отстраиваться от классических развлекательных сервисов).
- **самый важный способ - хорошо решить проблему пользователя**. Важно не ухудшать работу сервиса, из-за фокусировки на удовольствии.

### Привычка
Чем больше радости, тем больше дофамина. Если при контакте с сервисом\приложением постояннно и регулярно вырабатывается дофамин, то образуется дофаминовая петля, которая привяжет клиента к продукту.

**Cетевой эффект** (конформизм) - Когда все друзья и знакомые клиента знают и используют наш продукт, то у него появляется ощущение общности, стаи.

**Неустойка** - Усложнить отказ от продукта, сделать отказ болезненным и неприятным — как способ формирования привычки.

## Мотивации и потребности (см пирамиду Маслоу)

1. Принадлежность к обществу
- все пользуются — и я буду, буду «членом стаи»:
- узнаваемость бренда (определяется опросами),
- репутация, доверие к бренду (определяется опросами),
- виральность

Метрики: NPS, K-factor (K-factor = Sent invites * Conversion, где Sent invites — среднее количество приглашений, которые отправляет пользователь, а Conversion — конверсия из получения приглашения в установку).

2. Уважение, признание, статус
- социальное одобрение (лайки, репосты),
- благодарности компании (награда, благодарность, подарок),
- система внутренних статусов (с этим нужно быть аккуратным, потому что мода меняется и ценность только в статусе быстро перестанет привлекать клиентов)
- премиальные банковские карты.
- ачивки и лимитированные знаки отличия типа украшений в Dota2 и CS GO
- рейтинги в онлайн-играх,

3. Самореализация (Instagram — площадка для самореализации блогеров)
4. Быстрый дофамин (примеры я уже приводил выше).
5. Когнитивные искажения. Их успешно применяют booking.com (слишком обширная тема, разобраться поможет книга Канемана «Думай медленно, решай быстро»).

## Как измерять вовлеченность?
Для каждого этапа развития продукта (удобство → удовольствие → привычка), необходимы свои метрики, которые зависят от текущих целей

### Удобство
На этом этапе важно максимизировать ценность для клиентов. Поэтому на этапе «удобство» вам следует улучшать юнит-экономику своего продукта (его долгосрочный Retention).

**Метрики:**
- Retention во главе.
- LTV - деньги, которые клиент готов заплатить
- bounce rate
- метрика С1

### Удовольствие
На этом этапе важно развивать discovery-сценарий использования продукта, когда человек изучает сервис и «залипает» в нем.

**Метрики: **
- длительность сессий, time spent (важно растить именно нецелевую часть этой метрики, то есть основной сценарий можно выполнить так же быстро, но дополнительно можно и «позалипать»)
- количество просмотренных страниц, pages/visit,
- количество сессий на пользователя, sessions per user
- частота возвратов в приложение в течение месяца (DAU/MAU).

### Привычка
**Метрика: **
- доля амбасадоров
- метрики осведомленности о бренде (brand awareness) - частота публикаций в СМИ, количество просомтров публикаций, поисковые запросы, отзывы в соцсетях, статистика от участия в конференциях

## Вовлечение - Поиск и приоретизация гипотез
**Убедиться мы прошли первый этап Удобство - т.е. базовый UX в порядке.**
Для этого применяем инструменты менеджмента продуктов:
- аналитика,
- CustDev,
- поиск бенчмарков на рынке.

Иначе, стоит отложить планы по механикам вовлечения и сфокусироваться на удобстве продукта и росте долгосрочного Retention.

**Собирать бэклог гипотез для создания позитивных эмоций у клиента. **
Анализировать рынок глубже, разбираться, какие механики работают у конкурентов во всем мире. Анализировать нашу ЦА, пытаться найти нашего косвенного развлекательного конкурента

**Собрать фуллстек-команду и быстро проверять бэклог гипотез А/Б-тестами. **
Здесь важно фокусироваться на скорости проверки гипотез и поиске двух-трех гипотез, которые сработают именно у вас: механик вовлечения сотни, а в начале пути знаний о том, что развлекает ваших клиентов, у вас еще нет.

# 6. A/B - тестирование

## Когда применять
- у продукта уже достаточно пользователей, чтобы результаты наблюдений были статистически значимыми.
- тестируемое изменение в продукте способно оказать сильное влиение на ключевы метрики (только для мажорных фич). Чем слабее влияние, тем больше данных требуется собрать, чтобы надежно протестировать - тем больше ресурсов сгорит при тестировании (трафик, время).

## Порядок действий для проведения A/B-теста
1. Формулируем гипотезу.
2. Строим математическую модель, считаем ROI и решаем, достойна ли гипотеза проведения A/B-теста.
3. Проектируем дизайн эксперимента и заполняем наш шаблон.
4. Проводим A/A-тест для верификации системы сплит-тестирования.
5. Запускаем A/B-тест, на регулярной основе мониторим опережающие метрики и ловим нарушителей.
6. Не принимаем никаких решений, пока не наберем достаточное количество наблюдений — помним о проблеме подглядывания.
7. Останавливаем A/B-тест и ждем, пока закроется окно конверсии.
8. Выгружаем данные, проверяем выбросы и распределение сегментов пользователей.
9. Анализируем распределение данных, выбираем статистический критерий, принимаем или отвергаем гипотезу.
10. Раскатываем успешную фичу и продолжаем мониторинг.

## Как определить приоритет\силу гипотезы для тестирования
1. Вывести формулу прибыли на основе юнит-экномики продукта (на единицу продукции, на основе метрик) - математическая модель.
2. Сформулировать гипотезу, определить метрики, какое на них будет влияние (рост\падение)
3. Определить риски по просадке метрик
4. Подставить прогнозные значения метрик в математическую модель и расчитать прогноз прибыли
5. Соотнести прогнозную прибыль с затратами на разработку и А\В-тестирование - принять решение, стоит ли запускать эксперимент.

**Confidence** - уверенность в оценке приоритета гипотезы - можно оценивать на основе качественных исследований (интервьюирование, прототипирование\валидирование, Planning Poker и др.).

> **ВАЖНО**: НИКОГДА!!! не проводить А\В-тестирование без математического моделирования.

## Проектирование A/B-теста
Требуются развернутые ответы, что мы будем делать до\во время\после A\B-теста:
- Какая текущая ситуация? КАкую проблему решаем?
- Какую гипотезу проверяем? (Если <действие>, для <кого>, то <изменения метрик>, потому что <почему?>)
- Сколько заработает компания, решив эту проблему?
- Какой самый дешевый вариант по разработке теста?
- Какая выборка пользователей? Как мы наберем пользователей в эту выборку?
- ...и др.

> смотри документ [Product Mindset_ AB-test - Шаблон документации эксперимента.docx](https://docs.google.com/document/d/1-TmvTI8d8RQxP-5omrHCHw8A5bOhTmH1GDQp5ZFxGYs/edit)

**Ухудшающие эксперименты** - ухудшение UX для небольшой когорты пользователей, для исследования как влияют отдельные части продукта на бизнесс-метрики. (на примере VK: сломать музыку, события, новостную ленту)

### Расчет выборки для А\В-теста
Любой A/B-тест по своей сути является проверкой статистической гипотезы. Для этого необходимо:
- Сформировать основную (нулевую, H0) и альтернативную (H1) гипотезы.
- в А\В-тестах нулевая гипотеза - "между <А> и <В> нет разницы".
- за альтернативную гипотезу - "между <А> и <В> есть разница, из-за нашей гениальной фичи".
- цель теста - отклонить H0.
- Определить статистический критерий - правило, которое поможет отвергнуть или принять гипотезу.
- Задать уровень значимости (альфа) - вероятнось обнаружить разницу, которой на самом деле нет (ошибка первого рода, false-positive). Обычно = 5%
- Задать мощность критерия (1 - бэта) - вероятность незаметить существенную разницу между А и В (ошибка второго рода, false-negative). Обычно мощность (бэта)= 80%. Т.е. вероятность ошибки второго рода = 20%.
- Задать эффект, который мы собираемся обнаружить - прогноз изменения метрики.

> Ошибки первого и второго рода имеют не равнозначные эффекты для продукта, по этому для них устанавливаются разные вероятности.

> Проблема калькуляторов размера выборки в том, что мы не видим какой статистический критерий используется для расчетов. Лучше самостоятельно делать расчет, на основе ИМЕННО тех статистических критериев, которые будут использоваться при анализе результатов тестирования

### A/B/C-тесты - Множественные тесты
Точность таких тестов сильно ниже чем A\B. Требуется собирать гораздо больше данных. https://habr.com/ru/company/yandex/blog/476826/


### A\A-тест - Зачем нужен
В A/A-тесте мы делим пользователей на две группы, но даем им ***одинаковые варианты***. Пользователи должны распределяться в группах равномерно и случайным образом - иначе мы можем обнаружить статистически значимую разницу, между группами, но не из-за изменений в продукте.

**Cистема сплит-тестирования** - это система, которая случайным образом распределяет пользователей по группам A и Б.

Таким тестом мы тестируем систему сплит-тестирования:
- Проектируем обычный эксперимент. Но пользователи увидят только один и тот же вариант продукта.
- Собираем необходимое количество наблюдений.
- Анализируем данные - разница в ключевых метриках не должна быть статзначимой.

**A\A\B - тесты** - когда в эксперименте запускается три группы. Только в одной группе запускается тестирование изменения в продукте. А первые две тестируют сплит-систему. - Экономит время в некоторых случаях.

## Поведение во время теста
### Мониторинг
- пользователи попадают в тест при определенном условии.
- пользователи равномерно распределены по тестовой и контрольной группам
- каждый пользователь попадает в сценарий согласно его группе

### Проблема подглядывания
При постоянной слежке за дашбордами не стоит бежать хвалиться успехом при первых позитивных данных. Принимать решения на основе неполных данных — нельзя. Нужно дождаться окончания эксперимента, чтобы результаты были точными и статистически значимыми.

## Как интерпретировать результаты
Перед анализом результатов необходимо провести подготовку.

### Окно конверсии
**Окно конверсии** — это временной период, в течение которого мы наблюдаем за пользователем в ожидании, что он совершит целевое действие.

Надо убедиться, что окно конверсии закрылось для всех участников эксперимента. Конверсия занимает некоторое время (несколько дней). Если мы начнем подводить результаты A/B-теста сразу же после теста, мы срежем часть конверсий, которые могут изменить финальное решение об успешности нашей гипотезы.

> Для определения окна конверсии можно воспользоваться 95-м перцентилем. - определим период за который целевое действие совершат 95% пользователей.

### Проверка на выбросы
Иногда накопленная разница между вариантами в эксперименте может объясняться аномальными выбросами ключевой метрики в какие-то дни.

Для уменьшения влияния аномалий обычно используют перцентили: аномалиями считают значения, лежащие за 1-м и 99-м перцентилями.
> Следует провести расследование причины аномалии: маркетинговая акция, действия конкурентов, техническая проблема, праздничные дни, сезонность и т.п. По результатам принять решение исключать ли аномалию.

### Проверка распределения пользователей в выборке
Проверка на отличия в распределении различных сегментов пользователей между тестовой и контрольной группой. Разница между вариантами может возникнуть из-за того, что в одну из выборок попадет больше пользователей, склонных к совершению целевых действий.

**Примеры сегментов, которые важно проверить:**
- По каналам привлечения.
- По географии.
- По времени жизни в сервисе.
- По платформе.
- и др.
А лучше вообще мониторить распределение в реальном времени в процессе теста.

### Анализ результатов
1. Проанализировать характер распределения полученных данных.
2. Выбрать статистический критерий.
3. С помощью статистического критерия ответить на вопрос, есть ли между вариантами значимая разница.

**Статистический критерий** — это математическое правило, которое помогает нам понять, принята или отвергнута наша гипотеза.
У каждого критерия есть предпосылки для его использования (критерий работает неправлиьно если пренебречь предпосылкой), например:
- ненормальное распределение данных
- много повторяющихся значений
- размер выборки невелик

**Параметрические критерии** - включают в расчет какие-то параметры вероятностного распределения признака, например, среднее значение или дисперсию. - ТОЛЬКО Если мы знаем закон распределения.

**Непараметрические критерии** - не включают в расчет параметры распределения и основаны на оперировании частотами или рангами.

### Виды распределений
- Нормальное распределение (распределение Гаусса)
- Биномиальное распределение - Оно описывает «успехи» в последовательности из независимых случайных экспериментов. Вероятность «успеха» в каждом из них постоянна и равна какому-то значению p. В качестве «успеха» мы рассматриваем некое действие пользователя: клик, добавление товара в корзину, покупку. Если действия отдельных пользователей независимы (как чаще всего и бывает), то их можно описать законом биномиального распределения.

Определить характер распределения можно с помощью гисторгаммы.

График квантиль-квантиль (Q-Q plot) - еще один инструмент. По одной оси — значения квантилей выборки из эксперимента, по другой — значения квантилей теоретической функции распределения.
Если точки образуют прямую под углом 45 градусов, значит, выборка соответствует теоретическому распределению.
 

График для дискретной выборки

### Как выбрать статкритерий
Если графического анализа недостаточно, вы можете использовать подходящий критерий согласия, который позволяет проверить соответствие эмпирического распределения (выборки из эксперимента) теоретическому распределению вероятностей.

* **t-критерий Стьюдента** - разность двух средних, отнормированных на дисперсию
- для нормально распределенных выборок.
- для сравнения двух средних значений
* **критерий хи-квадрат** (криерий согласия Пирсона)
- для анализа конверсий, или других долей
- позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).
* **непараметрический bootstrap**
- популярный в анализе A/B-тестов
- Работа метода заключается в многократном повторении (resampling) полученных данных путем формирования независимых подвыборок с возвращением, размер которых равен размеру исходной выборки. (суть возвращения: 3 мяча в мешке (1-2-3), достаем случайный мяч, записываем номер, возвращаем обратно в мешок)
1. Для каждой группы (тест и контроль) сформировать подвыборку с возвращением.
1. Для каждой полученной подвыборки вычислить рассматриваемую в эксперименте метрику, например, средний чек или конверсию.
1. Вычислить разность полученных на втором шаге метрик между тестом и контролем.
- С помощью многократного повторения шагов 1−3 с сохранением результата шага 3 формируется эмпирическое (то есть то, которое случилось на практике, а не в теории) распределение разности метрик (без сурс-кода не разобраться :( - смотри в материалах PMA или гугле)




## Раскатка эксперимента\гипотезы\фичи
Мы не знаем на 100%, что произойдет после раскатки. Уверенность связана с уровнем заложенных вероятностей ошибок (альфа, бета)

**Контроль после раскатки (после того как накатили фичу в проде):**
- Отслеживание когорт через 2 недели, месяц, квартал и пол года
- Обратные тесты для важных частей продукта - А\Б тестирование отсуствия фичи, если мы получаем фидбек, что что-то работает не так.
- Холд-когорты - пользователи, которые неприкасаемые, на которых нельзя тестировать
- для проверки синергетических эффектов от кучи разных фич (может быть усиление, и наоборот - анигиляция, ухудшение эффектов от внедрения на метриках).
- для выявления влияния внешних обстоятельств (негатив снаружи, геополитика, пандемия, а бизнес метрики не меняются, хотя продуктовая команда херачит тесты и внедряет успешные фичи)

## Инструменты
Только для быстрых маркетинговых исследований (какой лендинг лучше конвертит, какая картинка привлекательней и т.п.):
- Google Optimize
- Visual Website Optimizer

> Такие инструменты не рекомендуются для тестов, в которых необходимо отслеживать действия пользователя по воронке.

# 7. Goal Setting
## SMART
SMART - цели должны быть:
- S - Specific - конкретные
- M - Measurable - измеримые
- A - Achievable - достижимые
- R - Relevant\Realistic\Resluts-focused - актуальные, реалистичные, ориентированные на результат
- T - Timely\Trackable - совевременные, отслеживаемые

* Цели должны каскадироваться одна из другой по временным промежуткам
* Цели разных команд должны синхронизироваться
* У каждой цели должен быть ответственный на каждом уровне иерархии

## Как составить KPI схему
- сотрудник сам ее составляет и согласует с руководством
- включать в схему цель более высокого уровня для синергии с другими командами
- если найм важен, то включить в схему
- не больше 7 целей у каждого менеджера
- в каждую метрику можно зашивать контр-метрику (ретеншон х% при не снижении привлекаемого трафика - 1000 пользователей в день)

**Системы KPI**
- Output-KPI - в показателе\метрике зафиксирован достижимый результат, на который мы можем непосредственно влиять.
- Input-KPI - когда непонимаем точно как достичь результат, но можем сделать все чтобы достичь.

**Антипаттерн:** устанавливать KPI исполнителю (разработчику, дизайнеру) - приведет к работе на цифру в ущерб качеству. Устанавливаем KPI только менеджеру.

## Системы OKR
- **Top-down** - нисходящий подход - все цели устанавливаются менеджером, руководителем или администратором.
- **Bottom-up** - восходящий подход - сотрудники или команды просто разрабатывают миссию или цели и пытаются убедить других сотрудников и руководство снизу вверх. В состав управления входит администрация, которая несет ответственность за решения, принимаемые внутри компании.

Следует стремиться соблюдать\сочетать оба подхода чтобы организация оставалась гибкой.

## Система управления
- Регулярно
- отслеживать прогресс по целям
- Корректировать курс
- Синхронизация всех команд
- Прозрачность принципов принятия решений
- Развития фреймфорка\методологии\команды как продукта

## Встречи
- в начале итерации (горизонта планирования) - фиксация целей, проверка зависимостей между командами
- в конце итерации (горизонта планирования) - подведение итогов
- 1-1 с подчиненным менеджером - мониторинг прогресса, настроений
- Ретроспективы по проектам

## Артефакты
- ключевой дашборд со всеми метриками
- легко доступная для всех база знаний - с результатами экспериментов, гипотезами, аналитикой
- визуализация каскадирования целей
- хорошее дерево метрик содержит математически обоснованные связи между метриками разного уровня
- реестр принципов принятия решений
- описания фреймворка управления

## Принципы
- у встречи есть агенда, ведущий и тайминг
- нельзя начинать разработку не проведя предварительное исследование
- нелья закончить разработку без подведения итогов
- разработчик не должен разрабатывать задачу, если не понимает ее бизнес-ценность
- Любая продуктовая гипотеза должна пройти стадии Research → Development → Valuation.
- Каждая гипотеза в статусе Valuation должна иметь ссылку на дашборд с отслеживаемой метрикой.

Процесс изменения принципов:
- опираться на ретроспективный анализ

# 8. Presentation
> Информация настолько хороша, насколько хороши способы ее донесения\передачи.

При подготовке к презентации:
- зафиксировать цель и ЦА
- **эффективная цель\целевое действие**- что должен сделать человек после презентации? Максимально конкретно!!!
- ЦА - на сколько она осведомлена о продукте? предметной области? какие привычки к визуализации? образ мышления - какие категории влияют на принятие решения? На сколько уместны технические детали? Нужна ли мощная доказательная база? Есть ли предвзятое отношение к докладчику?
- учесть формат презентации:
- печать, рассылка по почте, живая презентация
- печать, обязательно сопровождается голосом. Напоминалка о чем говорить. Допматериал для слушателей.
- почта, или любой другой формат, который не сопровождается голосом. Должнго быть сразу максимально все понятно
- живая презентация, конференц зал или зум - разные условия для слушателей\зрителей. Презентация должна фокусировать внимание во время доклада. Применять анимации, дробить слайды, вызывать эмоции, техника исчезающего контента + сторителлинг. + FOMO - fear of missing out.
- формат 4:3 vs 16:9
- 4:3 - только если есть 100% уверенность, что презетнация будет на проекторе с таким экраном. В остальных случаях 16:9
- проработать структуру, написать тексты
- отказаться от трудозатратных идей, если время на подготовку презентации оганичено (видеролики, гиф-анимация и т.п.) - лучше хорошо проработать дизайн таблиц и диаграм
- думаем таймингом, а не количеством слайдов
- 0.5-1 минута на слайд
- сделать текстовую версию презентации и дизайн 1-2 слайдов
- протестировать презентацию.

План работы над презентацей важен:
- идем маленькими шагами = уменьшаем свою боль + получаем желаемый результат

## Цветовой акцент
- цветовой акцент не работает сам по себе
- вывод в заголовке слайда + цветоыой акцент на диаграмме
- цветовая рифма в тексте и диаграмме
- все менее важное делаем более бледным


## Стори-теллинг

**Типовая Структура продающей презентации** (см. также питч)
- какую проблему решаем
- доказательство существования проблемы
- добавляем контекст (состояние рынка, тренды)
- предлагаем решение
- доказательство, что решение работает (отзывы, примеры, статистика)
- какие выгоды получит покупатель\клиент
- цена решения для покупателя
- итог. призыв к действию

> блок - о команде - ситуативный, иногда включать в начало презентации, если аудитория не знакома с вами. Если пит для инвесторов, то в конец - т.к. инвесторов команда интересует в последнюю очередь.

**ХРИЯ** - тип текста, используемый во всех сферах жизни
- вступление
- тема - фокус\тезис
- аргументы 1..3
- аргумент - утверждение, которое мы хотим доказать.
- Ответ на вопрос: почему ваш тезис верный?
- аргумент => суждение + поддержка + пример
- контраргумент
- ответы на самые каверзные\токсичные вопросы, которые возможны от аудитории
- заключение

**Структура для Стори-теллинга**
Герой
- мир героя
- цель героя
Сталкивается с трудностями
- какие препятствия
- сложность растет
- кульминация - максимальное переживание за героя
- поворотный момент
Выходит обновленным
- цель достигнута
- герой стал лучше

Примеры структуры презентации со сторителингом:
- [For 500 Startups - Basic 10 Page Investor Pitch Deck Template](https://docs.google.com/presentation/d/1A1pa3lLP4CGQPrNUQURZhyAu1Ax8ZFhsyc7TYxj8HuE/edit#slide=id.g47c0747192_0_79)

- [YC seed deck template](https://docs.google.com/presentation/d/1w0SfmG-Dqumj9FqwJu6YDIqp3-l2xmpQ4g2xI5adDko/edit#slide=id.g3487a9cbaa_0_22)

## О Команде
- демонстрация скилов и компетенций

## Источники контента и инструменты
- colors.co - проверка цветовой палитры на адекватность\контрастность

Иконки\иллюстрации:
- Freepik
- Flaticon

Шаблоны презентаций:
- hislide.io
- powerpointify.com