Развлекательный сайт с длинными текстами
Решаем задачи на принятие решений на основе данных
- Данные и аналитика
- Визуализации
- Задачи
Впервые опубликован на habr.com
Сейчас многие и очень многие люди (обычно их называют аналитиками, но в целом это может быть какая угодно специальность) готовят различные красивые таблицы и графики, на основании которых в идеале должны приниматься важные решения.
Понятия, которые начинаются со слов Data Driven, сейчас на слуху.
Но не всегда решения принимаются действительно на основе данных. А иногда с принятием решений есть объективные проблемы.
Материалов о том, как хорошие данные генерировать, хранить и красиво подавать достаточно.
Эта статья даст возможность всем желающим немного поупражняться именно в принятии решений на основе кое-как полученных и кое-как оформленных данных.
Перед началом
Принимать решения будем на основе задачек (“кейсов”).
Всё просто:
Уровень сложности всех задач — на уровне Капитана Очевидность. Задача не построить “теорию всего”, а поговорить в терминах принятия решений на основе данных.
Данные упражнения рекомендуются
И ещё немного простых, но важных мыслей:
Задача №1
Окупаемость инвестиций
Контекст
Представьте себе, что у вас есть деньги. И вы эти деньги проинвестировали в активы.
Возможно, это ваш интернет-магазин и тогда активы — это маркетинговые каналы. Возможно, вы венчурный инвестор и тогда активы — это какие-нибудь стартапы. Вариантов может быть много.
Важно, что вы вложили деньги с чётко прописанной целью — окупиться за 1 календарный год.
Этот год прошёл, и пришло время смотреть на финансовый результат.
Он выглядит следующим образом:
Понятия, которые начинаются со слов Data Driven, сейчас на слуху.
Но не всегда решения принимаются действительно на основе данных. А иногда с принятием решений есть объективные проблемы.
Материалов о том, как хорошие данные генерировать, хранить и красиво подавать достаточно.
Эта статья даст возможность всем желающим немного поупражняться именно в принятии решений на основе кое-как полученных и кое-как оформленных данных.
Перед началом
Принимать решения будем на основе задачек (“кейсов”).
Всё просто:
- Контекст (кто мы? где мы? что мы хотим?),
- Дано (набор данных, какие есть, такие есть),
- Варианты решений которых на их основе можно принять,
- Информация к размышлению
- Возможные ответы с комментариями
Уровень сложности всех задач — на уровне Капитана Очевидность. Задача не построить “теорию всего”, а поговорить в терминах принятия решений на основе данных.
Данные упражнения рекомендуются
- аналитикам в качестве развлекательного чтения,
- лицам, принимающим решения, в качестве лёгкой разминки,
- а также тем, кому надо через час срочно прособеседовать кандидата, а задачи “про гномиков” вызывают недоумение и/или отвращение.
И ещё немного простых, но важных мыслей:
- любой пример, вырванный из контекста той или иной бизнес-модели, может быть неудачным и даже в корне неправильным
- настоятельно рекомендую относиться ко всем примерам как к учебному пособию, а не как к рекомендации к действиям в реальном мире
- даже при небольшом изменении формулировок условий и поставленных заранее целей рекомендуемое решение может измениться (и мы это увидим)
- на большую часть задач нет и не может быть “правильных” ответов, в конце каждой задачи будут мысли и лишь возможные решения
- и, конечно, все данные — случайные числа, не имеющие никакого отношения ни к каким реальным показателям, все сходства — совпадения
Задача №1
Окупаемость инвестиций
Контекст
Представьте себе, что у вас есть деньги. И вы эти деньги проинвестировали в активы.
Возможно, это ваш интернет-магазин и тогда активы — это маркетинговые каналы. Возможно, вы венчурный инвестор и тогда активы — это какие-нибудь стартапы. Вариантов может быть много.
Важно, что вы вложили деньги с чётко прописанной целью — окупиться за 1 календарный год.
Этот год прошёл, и пришло время смотреть на финансовый результат.
Он выглядит следующим образом:
Среднемесячные показатели приведены для того, чтобы не учитывать разную сезонность активов.
И дополнительный график:
И дополнительный график:
ROI — (return of investments) показатель эффективности инвестиций, считается как (revenue-costs)/cost. Если ROI=0, то мы “в нуле”, если ROI>0, то мы “в плюсе”, т.е. заработали больше, чем потратили.
Предположим, что
рынок у нас стабильный, т.е. его не кидает то вверх, то вниз (подавим в себе нервный смешок, пример учебный)
рынок устоявшийся, никаких тектонических сдвигов (например, из офлайна в онлайн) не происходит,
рынок достаточно крупный
Формулировка задачи
Укажите номер активов, в которых вы бы проинвестировали с аналогичной целью на следующий год.
Предположим, что
рынок у нас стабильный, т.е. его не кидает то вверх, то вниз (подавим в себе нервный смешок, пример учебный)
рынок устоявшийся, никаких тектонических сдвигов (например, из офлайна в онлайн) не происходит,
рынок достаточно крупный
Формулировка задачи
Укажите номер активов, в которых вы бы проинвестировали с аналогичной целью на следующий год.
Информация к размышлению
Стабильный крупный рынок предполагает, что ситуация год от года меняться будет не сильно.
В задачах на таком уровне детализации логично предположить, что расходы на следующий год в каждом активе будут примерно такими же
В задачах на таком уровне детализации логично предположить, что расходы на следующий год в каждом активе будут примерно такими же
Возможные ответы
Ответ 1:
Если уровень сложности заявлен как “капитан очевидность”, то мы пренебрегаем всем и тупо указываем все активы, которые окупились, т. е. у которых ROI>0:
1,2,5,9,10,11,12
Ответ 2:
Год на год не приходится, можно проинвестировать и в активы с лёгким минусом, возможно, в следующем году будет лучше. Кроме 1,2,5,9,10,11,12 можно добавить 3, 6,7,13,14
Ответ 3:
Давайте вернёмся к первому графику (доходы и расходы), посмотрим на него и поймём, что по расходам у нас активы разделяются на 3 категории: дорогие, средние и дешёвые.
При прочих равных имеет смысл инвестировать в более дешёвые активы. Риски (вероятность потерять вложенное) такие же, но рискуем мы меньшими суммами. У активов с номерами 3, 7 и 14 одинаковый ROI (-4%). Из них в портфель лучше взять номер 14 (меньшими суммами рискуем).
Если уровень сложности заявлен как “капитан очевидность”, то мы пренебрегаем всем и тупо указываем все активы, которые окупились, т. е. у которых ROI>0:
1,2,5,9,10,11,12
Ответ 2:
Год на год не приходится, можно проинвестировать и в активы с лёгким минусом, возможно, в следующем году будет лучше. Кроме 1,2,5,9,10,11,12 можно добавить 3, 6,7,13,14
Ответ 3:
Давайте вернёмся к первому графику (доходы и расходы), посмотрим на него и поймём, что по расходам у нас активы разделяются на 3 категории: дорогие, средние и дешёвые.
При прочих равных имеет смысл инвестировать в более дешёвые активы. Риски (вероятность потерять вложенное) такие же, но рискуем мы меньшими суммами. У активов с номерами 3, 7 и 14 одинаковый ROI (-4%). Из них в портфель лучше взять номер 14 (меньшими суммами рискуем).
Задача №2
Окупаемость инвестиций
Контекст
Теперь давайте представим себе, что у нас есть не просто есть деньги, но какой-никакой стабильный бизнес. Например, интернет-сервис по продаже услуг (репетиторы, барбершопы, какой-нибудь блог, на котором размещена реклама, что угодно). У нас есть подчинённый-маркетолог. Он решил провести маркетинговую акцию в октябре. Вы настояли на том, что у акции должна быть ясная цель.
После обсуждений сформулировали её максимально просто: заработать денег прямо сейчас. (Редкий случай в реальной жизни, чаще всего цель заработать денег когда-нибудь потом, стимулировать повторные продажи, привязать к бренду или ликвидировать складские остатки).
По итогам акции мы видим следующий график продаж:
Окупаемость инвестиций
Контекст
Теперь давайте представим себе, что у нас есть не просто есть деньги, но какой-никакой стабильный бизнес. Например, интернет-сервис по продаже услуг (репетиторы, барбершопы, какой-нибудь блог, на котором размещена реклама, что угодно). У нас есть подчинённый-маркетолог. Он решил провести маркетинговую акцию в октябре. Вы настояли на том, что у акции должна быть ясная цель.
После обсуждений сформулировали её максимально просто: заработать денег прямо сейчас. (Редкий случай в реальной жизни, чаще всего цель заработать денег когда-нибудь потом, стимулировать повторные продажи, привязать к бренду или ликвидировать складские остатки).
По итогам акции мы видим следующий график продаж:
Давайте считать, что мы по ценам и качеству в целом “в рынке” относительно наших конкурентов, наша сфера достаточно большая, стабильная и появилась не вчера, крупных внешних изменений за последние месяцы не произошло. Кроме того, не наблюдается изменений в структуре продаваемых товаров.
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Информация к размышлению
Оценивать действия маркетолога нужно по достижению поставленной цели.
Услуги (в отличие от классического ритейла “купи подешевле-продай подороже”) предполагают такую бизнес-модель, когда себестоимостью услуг можно пренебречь.
В отличие от реальной жизни, в данном примере мы не знаем специфики бизнеса, а она может быть важна. Но часто со спецификой можно ознакомиться с помощью данных, главное правильно задать вопрос.
Услуги (в отличие от классического ритейла “купи подешевле-продай подороже”) предполагают такую бизнес-модель, когда себестоимостью услуг можно пренебречь.
В отличие от реальной жизни, в данном примере мы не знаем специфики бизнеса, а она может быть важна. Но часто со спецификой можно ознакомиться с помощью данных, главное правильно задать вопрос.
Возможные ответы
Для того, чтобы оценить эффективность акции, нам нужно быть уверенным в том, что причиной роста продаж являются именно наши действия в маркетинге.
Есть версия о том, что тут работает обычная распродажа (сбросили цены — увеличили спрос), но для подтверждения этой мысли нам недостаточно данных.
Дополнительно поставленные условия исключают такое изменение спроса, как ожидаемое изменение спроса (например, мода) или действия конкурентов.
Но вполне возможно, что в октябре у нас может быть естественный сезонный рост (небольшой пик спроса в феврале при росте цен показывает, что такое возможно).
Поэтому
5. Для принятия решения недостаточно данных — мы хотим знать сезонность.
В идеале бы ещё — аналогичные графики для наших основных конкурентов (мечтать, конечно, не вредно, ладно, обойдёмся без этой информации).
Есть версия о том, что тут работает обычная распродажа (сбросили цены — увеличили спрос), но для подтверждения этой мысли нам недостаточно данных.
Дополнительно поставленные условия исключают такое изменение спроса, как ожидаемое изменение спроса (например, мода) или действия конкурентов.
Но вполне возможно, что в октябре у нас может быть естественный сезонный рост (небольшой пик спроса в феврале при росте цен показывает, что такое возможно).
Поэтому
5. Для принятия решения недостаточно данных — мы хотим знать сезонность.
В идеале бы ещё — аналогичные графики для наших основных конкурентов (мечтать, конечно, не вредно, ладно, обойдёмся без этой информации).
Комментарии
Мы видим “ноль” на вертикальной оси на графике, т.е. нет никакой манипуляции с масштабом.
Величины, которые влияют на выручку (продажи и средний чек), отражены на одном графике, а значит легко увидеть их взаимодействие. Сценариев, когда одна величина уменьшается при росте другой, достаточно. На двух стоящих рядом графиках менее очевидные случаи могли быть незаметны.
В текущей задаче нас интересуют не точные цифры, а динамика, поэтому подписей на графиках минимум.
Мы видим “ноль” на вертикальной оси на графике, т.е. нет никакой манипуляции с масштабом.
Величины, которые влияют на выручку (продажи и средний чек), отражены на одном графике, а значит легко увидеть их взаимодействие. Сценариев, когда одна величина уменьшается при росте другой, достаточно. На двух стоящих рядом графиках менее очевидные случаи могли быть незаметны.
В текущей задаче нас интересуют не точные цифры, а динамика, поэтому подписей на графиках минимум.
Задача №2а
Эффективность акции (и нам дана сезонность)
Контекст
Все условия предыдущей задачи остаются в силе, но нам даны данные за прошлый год и, бонусом, приросты:
Эффективность акции (и нам дана сезонность)
Контекст
Все условия предыдущей задачи остаются в силе, но нам даны данные за прошлый год и, бонусом, приросты:
Заказы:
прирост
прирост
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
прирост
- к аналогичному месяцу прошлого года: +77%
- к прошлому месяцу: +52%
прирост
- к аналогичному месяцу прошлого года: -22%
- к прошлому месяцу: -25%
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Информация к размышлению
Сезонность у нас явно существует, хотя и небольшая. Явно нет пика сезонности в октябре.
Другие значимых факторов, кроме маркетинговой акции придумать сложно (хотя и возможно).
Другие значимых факторов, кроме маркетинговой акции придумать сложно (хотя и возможно).
Возможные ответы
Для снятия всех сомнений хочется, конечно, сделать A/B-тест, но это не всегда и не везде возможно. А ещё чаще не оправдано (выгоды от точной информации могут быть меньше, чем потери времени на сам тест).
Кстати, в данном случае нам не нужна даже история прошлых маркетинговых акций. Если бы мы видели рост продаж в октябре (особенно при падении цен) — логично предположить, что в прошлом году уже была аналогичная акция в это же время.
В реальной жизни историю продаж прошлого года получить как правило гораздо проще, чем историю изменений в продукте, крупных акциях в прошлом и т.п.
Итак, причиной роста считаем изменение цены.
Т.к. себестоимостью мы пренебрегаем, успешная акция — это такая акция, с которой мы заработали больше по сравнению с ситуацией, когда мы не делали бы ничего.
Можно высчитывать точные значения, а можно просто сравнить рост чеков и падение цен. В данном случае мы видим, что выручка наша в этом месяце выросла (продажи выросли больше, чем снизился средний чек), поэтому акция успешная.
Можно выбрать что-то из вариантов
2. Оставить маркетолога без премии (“Он просто сделал свою работу”)
3. Вручить маркетологу стандартную премию (“Какой-то процент от дополнительной выручки”)
4. Вручить маркетологу двойную премию (“Вау! Маркетинг работает! да не жалко отсыпать от души”)
в зависимости от предварительных договорённостей и нашего стиля управления
Кстати, в данном случае нам не нужна даже история прошлых маркетинговых акций. Если бы мы видели рост продаж в октябре (особенно при падении цен) — логично предположить, что в прошлом году уже была аналогичная акция в это же время.
В реальной жизни историю продаж прошлого года получить как правило гораздо проще, чем историю изменений в продукте, крупных акциях в прошлом и т.п.
Итак, причиной роста считаем изменение цены.
Т.к. себестоимостью мы пренебрегаем, успешная акция — это такая акция, с которой мы заработали больше по сравнению с ситуацией, когда мы не делали бы ничего.
Можно высчитывать точные значения, а можно просто сравнить рост чеков и падение цен. В данном случае мы видим, что выручка наша в этом месяце выросла (продажи выросли больше, чем снизился средний чек), поэтому акция успешная.
Можно выбрать что-то из вариантов
2. Оставить маркетолога без премии (“Он просто сделал свою работу”)
3. Вручить маркетологу стандартную премию (“Какой-то процент от дополнительной выручки”)
4. Вручить маркетологу двойную премию (“Вау! Маркетинг работает! да не жалко отсыпать от души”)
в зависимости от предварительных договорённостей и нашего стиля управления
Комментарии
Когда с трендами всё понятно и надо что-то точно посчитать, лучше привести конкретные цифры в явном виде, а не считывать их с графиков.
Бонусом к этой задаче мы видим уровень инфляции за год: это средняя разница между средним чеком текущего и прошлого года (без учёта акционного месяца).
Когда с трендами всё понятно и надо что-то точно посчитать, лучше привести конкретные цифры в явном виде, а не считывать их с графиков.
Бонусом к этой задаче мы видим уровень инфляции за год: это средняя разница между средним чеком текущего и прошлого года (без учёта акционного месяца).
Задача №3
Эффективность акции (и у нас другая бизнес-модель)
Контекст
Все условия предыдущей задачи остаются прежними, но продаём мы не услуги, а товары. (Купили подешевле — продали подороже).
Эффективность акции (и у нас другая бизнес-модель)
Контекст
Все условия предыдущей задачи остаются прежними, но продаём мы не услуги, а товары. (Купили подешевле — продали подороже).
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Возможные ответы
1. Уволить маркетолога (“мы в минусе, уволить!”)
2. Оставить маркетолога без премии (“признаем эксперимент неудачным, решаем проблемы внутренней коммуникации и идём дальше”)
2. Оставить маркетолога без премии (“признаем эксперимент неудачным, решаем проблемы внутренней коммуникации и идём дальше”)
Комментарии
Распродажи “в минус” при несогласованности отделов — это большая беда. Чаще всего такие акции скорее рассчитаны на повторные продажи.
Пожалуй, количество линий на текущем графике — это максимум, который можно себе позволить без потери читабельности
Распродажи “в минус” при несогласованности отделов — это большая беда. Чаще всего такие акции скорее рассчитаны на повторные продажи.
Пожалуй, количество линий на текущем графике — это максимум, который можно себе позволить без потери читабельности
Задача 4
Подводим итоги A/B/C-теста
Контекст
Представьте, что у нас есть хороший приносящий деньги бизнес, за который не стыдно: у нас есть много лояльных клиентов. Например, у нас есть интернет-магазин и есть подписка с каталогом товаров, на которую законно и этично подписана большая аудитория. Они видят в своём почтовом ящике письмо от их любимого бренда, открывают его, смотрят описания товаров (акций, спецпредложений — ну чего-то), в конце письма есть кнопка “Купить” (нейтрального цвета как обычная кнопка в интерфейсе) после нажатия на которую переходим на сайт. Там уже можно что-то купить.
Продуктовой команде пришла в голову идея поднять продажи с помощью изменения цвета кнопки (нам опять повезло, не психология, не привязанность к бренду, не долгосрочные прогнозы, а продажи здесь и сейчас). Решили провести тест: разделили всю нашу лояльную (давшую согласия на обработку персональных данных и рекламную рассылку) аудиторию на три группы: контрольную (в которой примерно 90% аудитории) и две экспериментальных, с зелёной и красной кнопкой (примерно по 5%).
Ждём фиксированное время и смотрим на следующие результаты теста:
Подводим итоги A/B/C-теста
Контекст
Представьте, что у нас есть хороший приносящий деньги бизнес, за который не стыдно: у нас есть много лояльных клиентов. Например, у нас есть интернет-магазин и есть подписка с каталогом товаров, на которую законно и этично подписана большая аудитория. Они видят в своём почтовом ящике письмо от их любимого бренда, открывают его, смотрят описания товаров (акций, спецпредложений — ну чего-то), в конце письма есть кнопка “Купить” (нейтрального цвета как обычная кнопка в интерфейсе) после нажатия на которую переходим на сайт. Там уже можно что-то купить.
Продуктовой команде пришла в голову идея поднять продажи с помощью изменения цвета кнопки (нам опять повезло, не психология, не привязанность к бренду, не долгосрочные прогнозы, а продажи здесь и сейчас). Решили провести тест: разделили всю нашу лояльную (давшую согласия на обработку персональных данных и рекламную рассылку) аудиторию на три группы: контрольную (в которой примерно 90% аудитории) и две экспериментальных, с зелёной и красной кнопкой (примерно по 5%).
Ждём фиксированное время и смотрим на следующие результаты теста:
Зелёным подсвечены те результаты, где результат теста статистически лучше базового. Если бы где-то было статистически хуже — это было бы подсвечено красным.
Ваши дальнейшие действия
1. Провести A/A-тест
2. Оставить базовый вариант
3. Поставить вариант с зелёной кнопкой
4. Поставить вариант с красной кнопкой
5. Продолжить ABC-тест в других пропорциях
6. Для принятия решения недостаточно данных
Ваши дальнейшие действия
1. Провести A/A-тест
2. Оставить базовый вариант
3. Поставить вариант с зелёной кнопкой
4. Поставить вариант с красной кнопкой
5. Продолжить ABC-тест в других пропорциях
6. Для принятия решения недостаточно данных
Информация к размышлению
Провести A/A-тест — это тот же A/B-тест, при котором двум частям аудитории показывается одно и то же. Разумеется, результаты должны быть статистически незначимы. Если это не выполняется, у нас явно есть проблемы в проведении теста.
Механизм тестирования может быть несовершенным.
Механика почтовой рассылки в данной задаче важна.
Иногда нужна ещё и внимательность.
Механизм тестирования может быть несовершенным.
Механика почтовой рассылки в данной задаче важна.
Иногда нужна ещё и внимательность.
Возможные ответы
В момент открытия письма пользователь не видит кнопки. Поэтому статистически значимый результат на красной кнопке — это что-то невообразимое. Либо мы плохо поделили пользователей (“плохой рандом”), либо в письме есть какая разница не только в кнопке, но и где-то ещё (время отправки, сегмент отправки, заголовок, “неравный тест”), либо 90% уровень значимости для нас недостаточен (“нам не повезло”). Лучше всего провести A/A-тест.
Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат, так что ставим зелёную кнопку и идём дальше.
Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам (например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже). Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, надо продолжить тест в других пропорциях: 90% отдать зелёной кнопке, по 5% красной кнопке и контрольной группе.
Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат, так что ставим зелёную кнопку и идём дальше.
Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам (например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже). Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, надо продолжить тест в других пропорциях: 90% отдать зелёной кнопке, по 5% красной кнопке и контрольной группе.
Комментарии
Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.
Главная проблема тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности
Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.
Главная проблема тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности
Задача 5
Анализируем изменения в сегментах аудитории
Контекст
Представим себе, что мы рулим каким-то никзомаржинальном высококонкурентном бизнесом, т.е. мы не можем раздавать скидки всем налево и направо, а любая наша ошибка приведёт к оттоку аудитории в конкурентам. Например, мы мобильный оператор из большой тройки. Или интернет-провайдер. Или парикмахерская.
На основании общих соображений мы формируем следующие сегменты нашей аудитории:
Новички — те, кто только что познакомился с продуктом.
Отток — те, кому наш продукт не понравился, они перестали им пользоваться
Лояльные — самые классные, они пользуются и они счастливы (возможно, даже рекомендуют нас друзьям)
Отток лояльности — пользователи, которые всё ещё “с нами”, но они несчастливы, активно ищут альтернативу и с радостью перейдут к тому, кто предоставим им более дешёвый или удобный сервис.
У мобильный операторов или банков этот сегмент особено велик: мало кто полностью доволен своим, но “переезд” чреват большими издержками и на него надо решиться.
Вы располагаете следующей информацией по динамике переходов из сегмента в сегмент:
Анализируем изменения в сегментах аудитории
Контекст
Представим себе, что мы рулим каким-то никзомаржинальном высококонкурентном бизнесом, т.е. мы не можем раздавать скидки всем налево и направо, а любая наша ошибка приведёт к оттоку аудитории в конкурентам. Например, мы мобильный оператор из большой тройки. Или интернет-провайдер. Или парикмахерская.
На основании общих соображений мы формируем следующие сегменты нашей аудитории:
Новички — те, кто только что познакомился с продуктом.
Отток — те, кому наш продукт не понравился, они перестали им пользоваться
Лояльные — самые классные, они пользуются и они счастливы (возможно, даже рекомендуют нас друзьям)
Отток лояльности — пользователи, которые всё ещё “с нами”, но они несчастливы, активно ищут альтернативу и с радостью перейдут к тому, кто предоставим им более дешёвый или удобный сервис.
У мобильный операторов или банков этот сегмент особено велик: мало кто полностью доволен своим, но “переезд” чреват большими издержками и на него надо решиться.
Вы располагаете следующей информацией по динамике переходов из сегмента в сегмент:
Ваши действия:
1. Ничего не предпринимать
2. Сделать скидку для новичков
3. Сделать скидку для тех, кто сейчас в сегменте “Лояльные”
4. Сделать скидку для тех, кто сейчас в сегменте “Отток лояльности”
5. Для принятия решения недостаточно данных
1. Ничего не предпринимать
2. Сделать скидку для новичков
3. Сделать скидку для тех, кто сейчас в сегменте “Лояльные”
4. Сделать скидку для тех, кто сейчас в сегменте “Отток лояльности”
5. Для принятия решения недостаточно данных
Информация к размышлению
Делать хороший продукт, оптимизировать расходы, активно себя продвигать — само собой, так мы будем делать и без этой информации.
Дать скидку всем мы не сможем.
Удержать пользователя с помощью скидки в подавляющем большинстве случаев дешевле, чем привлечь нового пользователя.
Дать скидку всем мы не сможем.
Удержать пользователя с помощью скидки в подавляющем большинстве случаев дешевле, чем привлечь нового пользователя.
Возможные ответы
Вполне возможно, что такое поведение нормально. Неплохо бы знать хотя бы примерно как у конкурентов.
Новичкам давать скидку не выгодно. Мы и так потратили много на их привлечение, а переход в отток сразу очень большой. Оттоку давать уже поздно, они нашли альтернативу. Обычно в таких случаях дают скидку оттоку лояльности, если получается быстро вычленить этот сегмент до того, как станет слишком поздно.
Судя по долям и динамике в нашем примере, давать скидку оттоку как раз поздно. Их мало и они быстро утекают. В данных (признаемся, достаточно редких в реальном мире) условиях лучше давать скидку лояльным.
Новичкам давать скидку не выгодно. Мы и так потратили много на их привлечение, а переход в отток сразу очень большой. Оттоку давать уже поздно, они нашли альтернативу. Обычно в таких случаях дают скидку оттоку лояльности, если получается быстро вычленить этот сегмент до того, как станет слишком поздно.
Судя по долям и динамике в нашем примере, давать скидку оттоку как раз поздно. Их мало и они быстро утекают. В данных (признаемся, достаточно редких в реальном мире) условиях лучше давать скидку лояльным.
Комментарии
В данном конкретном случае возможно, следует либо поменять методику деления на лояльных и отток лояльности, либо ввести промежуточные градации, т.к. с таким “текучим” сегментом сложно работать.
В данном конкретном случае возможно, следует либо поменять методику деления на лояльных и отток лояльности, либо ввести промежуточные градации, т.к. с таким “текучим” сегментом сложно работать.
Задача 6
Выстраиваем KPI в маркетинге
Вы занимаетесь платным продвижением в сервисе, который предоставляет платные услуги online. Ваш основной KPI — среднемесячный ROI каналов, которыми вы управляете.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Работа над качеством рекламных материалов (баннеры, лендинги и т.д.)
2. Работа в правильном наборе каналов и кампаний
3. Оперативное реагирование на неудачные кампании по опережающим метрикам
4. Работа только с дешёвыми каналами
5. Работа по узкой, но целевой аудитории без масштабирования
Выстраиваем KPI в маркетинге
Вы занимаетесь платным продвижением в сервисе, который предоставляет платные услуги online. Ваш основной KPI — среднемесячный ROI каналов, которыми вы управляете.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Работа над качеством рекламных материалов (баннеры, лендинги и т.д.)
2. Работа в правильном наборе каналов и кампаний
3. Оперативное реагирование на неудачные кампании по опережающим метрикам
4. Работа только с дешёвыми каналами
5. Работа по узкой, но целевой аудитории без масштабирования
Информация к размышлению
У нас нет никакой информации о бизнесе, о рынке, о структуре отдела, отлаженности процессов.
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Возможные ответы
Работа над качеством рекламы и правильный набор каналов — это хорошо, так надо делать, в эту сторону нужно стремиться. Но это ничего не гарантирует.
Оперативное реагирование хорошо, но никакой гарантии выполнения нашего KPI, это, увы не даёт.
Обращаем внимание на то, что ROI никак не зависит от оборота. ROI в 20% может быть и на космических бюджетах, так и на крошечных.
Но небольшие бюджеты (особенно, если процесс хоть как-то налажен) легче поддерживать на уровне, чем масштабировать. На малых выборках (особенно при наличии лояльной аудитории и неидеальной атрибуции) делать высокий ROI гораздо проще.
Поэтому никакого масштабирования, никакого риска, никакого развития. Тратим мало, чем меньше, тем лучше, только в самое надёжное и проверенное.
Оперативное реагирование хорошо, но никакой гарантии выполнения нашего KPI, это, увы не даёт.
Обращаем внимание на то, что ROI никак не зависит от оборота. ROI в 20% может быть и на космических бюджетах, так и на крошечных.
Но небольшие бюджеты (особенно, если процесс хоть как-то налажен) легче поддерживать на уровне, чем масштабировать. На малых выборках (особенно при наличии лояльной аудитории и неидеальной атрибуции) делать высокий ROI гораздо проще.
Поэтому никакого масштабирования, никакого риска, никакого развития. Тратим мало, чем меньше, тем лучше, только в самое надёжное и проверенное.
Возможные ответы
Ситуация аналогичная предыдущей.
Конверсия не зависит от объёма.
На низких объёмах делать высокую конверсию проще. Поэтому сайта надо выгонять всех, кто ещё не заплатил. Тогда не будет ни аудитории, ни развития, ни рынка, но будет высокая конверсия.
Конверсия не зависит от объёма.
На низких объёмах делать высокую конверсию проще. Поэтому сайта надо выгонять всех, кто ещё не заплатил. Тогда не будет ни аудитории, ни развития, ни рынка, но будет высокая конверсия.
Комментарии
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
Задача №7
Выстраиваем KPI в продукте
Вы занимаетесь развитием сайта, который предоставляет платные услуги.
Ваш основной KPI — среднемесячная конверсия из визитов в оплаченные заказы.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Улучшать функциональность сайта с помощью пользовательского опыта
2. Вводить новые фичи
3. Улучшать качество услуг и время обратной связи
4. Давать больше бесплатных материалов
5. Снижать цены на продукт
6. Закрыть доступ на сайт всем, кроме старых платящих пользователей
Выстраиваем KPI в продукте
Вы занимаетесь развитием сайта, который предоставляет платные услуги.
Ваш основной KPI — среднемесячная конверсия из визитов в оплаченные заказы.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Улучшать функциональность сайта с помощью пользовательского опыта
2. Вводить новые фичи
3. Улучшать качество услуг и время обратной связи
4. Давать больше бесплатных материалов
5. Снижать цены на продукт
6. Закрыть доступ на сайт всем, кроме старых платящих пользователей
Информация к размышлению
У нас нет никакой информации о бизнесе, о рынке, о структуре отдела, отлаженности процессов.
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Возможные ответы
Ситуация аналогичная предыдущей.
Конверсия не зависит от объёма.
На низких объёмах делать высокую конверсию проще. Поэтому сайта надо выгонять всех, кто ещё не заплатил. Тогда не будет ни аудитории, ни развития, ни рынка, но будет высокая конверсия.
Конверсия не зависит от объёма.
На низких объёмах делать высокую конверсию проще. Поэтому сайта надо выгонять всех, кто ещё не заплатил. Тогда не будет ни аудитории, ни развития, ни рынка, но будет высокая конверсия.
Комментарии
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
(c) 2022. Kotelok, Roman Tsaregorodtsev