Котелок
Обо мне

  • Много кода, в основном, пет-проекты

  • Для самой оперативной связи

  • Если нужно прям формальное резюме

  • Ну и он пусть будет
Меня зовут Роман Царегородцев. Я работаю аналитиком данных.
Мою работу можно кратко описать так:
Видеть число за каждым человеком и видеть человека за каждым числом
Я работаю с данными и помогаю бизнесам решать их проблемы. Больше всего я специализируюсь на аналитике поведения пользователей. Я пытаюсь ответить на такие вопросы:
  • почему люди поступают именно так в нашем продукте?
  • какие люди как именно реагируют на те или иные изменения?
  • как они поведут себя завтра?
и, самый главный,
  • как сделать продукт лучше для пользователей?

Рассказываю о проекте на воркшопе в "Яндексе"
Я работал в больших компаниях и маленьких стартапах.
Я управлял большой командой аналитиков и был единственным специалистом по данным.

Я могу помочь вашему CTO
  • выбрать инструменты хранения данных и аналитики в компании
  • внедрить систему A/B-тестов в компании
  • сделать обоснованный выбор инструментов для достижения целей продукта
Я могу помочь вашему CPO
  • внедрить культуру принятия решений на основе данных
  • получать осмысленные результаты A/B-тестов
  • выжимать максимум из продуктовых гипотез
Я могу помочь вашему CMO
  • понять о том, как привлечённый пользователей ведёт себя в продукте
  • быстрее понять, какие источники трафика удовлетворяют поставленным целям
  • построить количественную аналитику рекламных креативов
Я могу помочь вашему CFO
  • построить и валидировать на данных финансовую модель компании или отдельных продуктов

Хмур и задумичв
Задачи
Продуктовая аналитика
Разведывательный анализ
Задача, которую часто недооценивают.
Построение базовых (иногда) очевидных метрик, которые позволяют оценить текущие процессы и то, как они меняются на больших периодах. Выделение трендов, драйверов роста и бутылочных горлышек.
Позволяет сразу увидеть проблемы продуктов со слабой бизнес-моделью. В сильных продуктах помогает аналитикам и продуктовой команде начать говорить на одном языке.

Пирамида метрик
Выделение ключевых метрик, которые характеризуют те или иные процессы в продукте, их взаимосвязь между собой, классификацию и те метрики, по которым можно отслеживать динамику изменений в продукте.

Adhoc-анализ проблемы
Наверное, основной хлеб большинства аналитиков.
Ситуация, когда к аналитику уже приходят с проблемой. “У нас упала конверсия. Почему?”, “Люди в Восточной Европе ведут себя совсем не так, как Западной что там происходит?” и прочее.
От аналитика требуется на данных подтвердить проблему, оценить её масштаб и дать рекомендации по тому, как с ней дальше жить.

Мониторинг проблем
После того, как о проблеме известно, хочется следить, что же с ней происходит дальше. Если проблема решена, хочется быть уверенным, что она не вернётся вновь. Для всего этого нужны аналитические мониторинги.
Это может быть просто специализированный дашборд, а может быть хитрая многоуровневая система алертов на аналитиков или сразу разработчиков.
Существующие системы мониторингов на данных можно настроить на бОльшую пользу.

Планирование и подведение итогов A/B-теста
A/B - мощный инструмент проверки гипотез. Но для того, чтобы он заиграл в полную силу, нужна работа аналитиков и до, и после старта теста.
Простая модель what-if
“Что будет с продуктом, если цена вырастет в два раза?”, “Выправится ли юнит-экономика, если мы сможем уменьшить агентскую комиссию?”, “Какой эффект будет от скидочной акции?”
Как правило, ответы на эти вопросы требуются быстро и возможности строить сложные модели нет. Можно либо использовать уже существующие, либо делать старые добрые “высокоуровневые” выкладки.

Калькулятор продуктовых фич
На какие метрики и как именно фича влияет, в каком коридоре будет её финансовый эффект, что будет, если она заденет другие метрики?
Важнейший инструмент для оценки приоритетов и продуктового планирования.
Дашборды состояния конкретной ситуации
Отображение состояния в максимально доступном виде. Подробно, но без ненужных деталей. В формате, в котором можно начать рассказывать историю.
Многоуровневая система отображения состояния продукта
Система дашбордов, их связи между собой и отображения конкретным заказчикам.

Расчет прогнозного LTV и схожих метрик
Куда аналитики и без LTV!
Обычно когда речь заходит об LTV как вещи в себе я говорю, что знаю 11 способов, как посчитать LTV продукта, а потом объяснить, почему в конкретной задаче нужно считать не LTV, а другую метрику.

Оптимизация прайсинга
Ответ на вопрос какая цена является оптимальной для какого сегмента пользователей очень часто может быть ключевым для выживания бизнеса. Data Driven подход может сильно сократить время на его получение.

Работа с сегментациями пользователей
Люди разные. Люди меняются. То, что замечательно для одних, отвратительно для других. Всем мил не будешь и прочие банальности.
Генерация, обсуждение, поверка, хранение и расчёт тех или иных сегментаций позволяет получать более точные ответы на вопросы бизнеса.
RFM, паттерны поведения, лояльность и отток, совы\жаворонки - вы можете привести и свои примеры.
Продуктовое машинное обучение
Прогноз спроса, возвращаемости и LTV
Обычные продуктовые прогнозы. Считаются с учётом сезонности, планов маркетинга и разницы между значимыми сегментами.

Поиск прокси-метрик, которые влияют на целевые метрики
Больше творческая, чем техническая задача - придумать такую метрику, которая покажет улучшение прогноза на данных.

Влияние изменения компонентов продукта на ключевые метрики
Он же what-if прогноз. Эластичности, нелинейные зависимости - всё как мы любим.
Прогноз эффективности маркетинговых кампаний
Чем раньше мы понимаем, что это маркетинговая активность не окупится, тем больше денег у нас будет для запуска эффективных кампаний.


Кластеризации продуктового поведения
Разные люди по-разному реагируют на продукт. Эффект на продукт “в среднем” может быть несильным. Но если посмотреть в правильных кластерах правильно - картина будет совсем другой.

Кластеризация продуктовых паттернов
Не только пользователи, но и сами компоненты продуктов могут быть очень разными, доход можно обеспечить только правильным учётом.
Кластеризация значимых факторов в рекламных креативах
Найти важные факторы (тэги) у каждого рекламного креатива и понять, какие из них оказывают существенное влияние на конверсии креатива. Таким образом ты быстро понимаешь, какие-то факторы действительно работают и какие новые креативы точно не нужны.


Финансовая аналитика
Построение финмодели
Без модели никак. Хочется, чтобы она опиралась на фактические данные, имела и глубину, и гибкость. Если по ней можно будет красивые графики показывать - вообще класс. Но, конечно, главный критерий - модель должна показывать реальную картину мира. Как правило, добавление уже работающих прогнозных моделей помогает.
Апгрейд готов финмодели и большую глубину
Финансовые специалисты могут сделать хорошую и подробную модель, но только для крупных сегментов. Это становится недостаточно при добавлении новых продуктов или выходов на новые рынки. Основные принципы “крупной” модели можно заложить и автоматизировать для построения “подробной” модели.

Прогноз финпотоков
Слова вроде LTV не на пустом месте возникают. Даже прибыльные по юнит-экономике бизнесы могут вмораживать существенные средства надолго. Если к этому добавить сильную сезонность и внешние риски. Не одними кассовыми разрывами, одним словом.


Маркетинговая аналитика
Разведывательный анализ маркетинговой активности
То, что не принесёт денег сразу. Но может найти большие проблемы. И точно поможет маркетологам и аналитикам найти общий язык.
Построение ручного инструмента контроля кампаний
Рано или поздно все приходят к тому, что никакой личный кабинет не является универсальным и нужно что-то. Хотя бы отчёты, лучше дашборд. А лучше - дашборд, в котором можно принимать решения.

Использование продуктовых метрик для оценки маркетинговых кампаний
Маркетинг продукта нужен, чтобы продуктом пользовались. Компании с хорошими конверсиями могут не приносить тех денег, что мы ждём. Анализ пользовательского поведения поможет найти проблемы раньше, экономит деньги и даёт пищу для экспериментов как продуктовой, так и маркетинговой команде.


Анализ и скоринг креативов
Решение технических вопросов с привязкой данных креативов к реальным конверсиям и доходам. Построение воронок. Создание дашбордов. Работа с тэгами и подключение сложных моделей.


Аналитика рынков и потенциалов
Сравнение с конкурентами. Оценка рынков, поиск рынков с оптимальным сочетанием цена-качество.
Технические задачи
Настройка систем аналитики
Даже популярные универсальные системы аналитики не всегда работают хорошо “из коробки”. Это может быть связано как со спецификой самой системы аналитики, так и с особенностями продукта. А ещё коррективы может вносить законодательство или изменения в политике больших компаний.

Настройка или построение системы сбора данных
Продуктовая компания должна быть владельцем своих данных. Иначе будет очень много проблем и по мере роста они будут только расти.

Настройка процессов логирования
Ключевое слово - процесс. Как сделать так, чтобы от идеи внедрить фичу до подведения финансовых итогов года с её участием ничего не потерять, не подвесить остальные процессы и, конечно, принимать на этих данных правильные решения.
Настройка или построение системы A/B-тестов
Любые аналитические гипотезы без A/B-тестов неточны. Нужна система, которая может обслуживать поток идущих гипотез и снять всю рутину со специалистов, задача которых - создать хороший продукт.

Настройка систем маркетингового слежения
У любой маркетинговой системе есть особенности, иногда - странные особенности. Если (скорее когда) бизнес будет использовать несколько систем, без точного понимания будут потери. Иногда крупные потери

Построение шаблонов дашбордов
Простые понятные шаблоны дашбордов, к которым привязаны проверенные данные и сформированные базовые визуализация - отличный инструмент для лидеров, в котором они могут настраивать дашборды “под себя” самостоятельно.

Менторство и обучение
Свои задачи для собеседований и просто общения
К сожалению, действительно хороших задач для проверки навыков именно аналитики на рынке мало, поэтому приходится создавать свои. Разумеется, на синтетических примерах и без нарушения NDA и иных других законов и правил.

Аналитика для руководителей
Мастер-класс с теорией и практикой о том, как руководителям принимать решения на основе данных.

План развития джунов
Набор навыков и уровней развития в них, система оценки уровня и базовые прогнозы траекторий развития джунов.



Стек
Хардскилы
SQL
Выбор, фильтрация, джойны, группировки, оконные функции, работа с планом запроса: PostgreSQL, Clickhouse, BigQuery, MySQL, Impala Cloudera, MS-SQL
Обычная работа с базами данных как пользователь

Настройка и администрирование: PostgreSQL
Поднимал свою базу, процедуры администрирование процессов, настройка ролей

Python
Базовые конструкции языка
Переменные, циклы, условия, классы, PEP8
pandas
Непосредственная работа с данными: работа с файлами, срезы, группировки, мерджи, пивоты, apply, map, мультииндексы, json.
Кастомные функции библиотеки: множество их.
Оптимизации процессов на больших данных: алгоритмы, numpy, pickle
numpy, requests, datetime, pandas_profiling, threading, selenium
В ассортименте
Текстовый анализ: bs4, nltk, pymorphy2, word2vec
Токенизация, работа с формой, частотный анализ, немного ml

Статистические пакеты: SciPy, scikit-learn, самописные библиотеки
Мощность множества, p-value, стат-тесты, проверки гипотез

Графические пакеты: matplotlib, seaborm, pandasplot, plotly
Базовые графики, распределения, настройки графиков, создание анимаций, экспорт

Обмены данными с внешними источниками: google docs, slack, telegram
Получение данных, экспорт результатов в различных форматах

Математика и статистика
Навыки, которые имели практическое применение.
Базовые статистика и теория вероятности, распределения, множества, статистическая значимость, доверительные интервалы, теорема Байеса.
Математический анализ. Сложные функции, аппроксимация функция, преобразования Фурье, численные решения, поиск экстремумов.

Data visualization
Работы с источниками данных, подготовка данных, базовые визуализации, продвинутые визуализации, дашбординг, организация пространства, data storytelling
Tableau, PowerBI, Excel, Data Studio, кастомные визуализации для sql-пакетов

Technical
Консольные команды linux
Установка пакетов, операции с файлами, сборка докера, настройки.
Знаю как выйти из vim, но использую nano :-)

Git
GitHub, Gitlab, Bitbucket
Коммиты, ветвления, разрешение конфликтов, ревью

External products
Аналитика
Amplitude
Google Analytics
Яндекс.Метрика

Маркетинговые трекеры
Appsflyer, Adjust, Branch, Tune (мир его праху)
Использование API, особенности работы и настройки компаний

Софтскилы
Фокус на решение задач бизнеса
Желать развиваться и решать сложные задачи - естественно для аналитика. Тем не менее, очень важно “наступать на горло собственной песне” и делать более простые, но более полезные для бизнеса в данные момент решения.
Конечно, важен и навык выбора момента, когда нужно остановиться: какая степень детализации модели оптимальна в данных условиях.

Поиск исходного заказчика и выявление исходной проблемы
Высокоуровневые заказчики редко заводят задачи сами, обычно они это делегируют. Те лица, которые ставят “не свою” задачу, могут терять контекст, им сложно ответить на наводящие вопросы.
Очень важен навык найти исходного заказчика и получить с него подробности в формате, который удобен всем участникам.
К сожалению, далеко не всегда заказчики приходят к аналитикам с бизнес проблемой. Чаще всего они приходят уже с ТЗ решения. Это отлично. Но не все заказчики располагают полной информацией о том, какие данные доступны аналитикам, не являются экспертами в статистике и иных смежных областях. Кроме того, заказчика как правило, не интересуют смежные бизнес-юниты или направления, у которых модет быть сходная проблема. Это приводит к тому, что предлагаемые решения могут не быть оптимальными в текущих условиях. Аналитик, если он понимает настоящую проблему, может предложить более быстрое, более просто или более универсальное решение.
Поэтому знать о настоящей проблеме очень важно, а способность в диалоге её получить и зафиксировать - ценный навык.

Работа с заказчиками C-level
C-level заказчики, как правило, целиком живут проблемами бизнеса. Они не имеют возможности вникать в подробности аналитических решений, им важен прикладной смысл.
Всё это требует навыков и опыта для получения лучших результатов.
Работа с заказчиками, которые работают руками
В отличие от C-level заказчиков, им требуется больше деталей, больше вариантов, больше ответов на вопросы “что, если?”. При этом эти люди не обязаны иметь техническое образование, поэтому материалы для них должны быть простыми и прикладными.

Декомпозиция задачи и составление плана
Говорят, что сеньор - это такой человек, который может разбить сложную задачу на последовательность простых, каждую из которых может решить джун.
Даже если задача не будет никому делегирована, план задачи - это удобный инструмент, который позволяет “на берегу” понять многие вещи. Как бонус - набор чек-поинтов для проджектов и лидов.

Приоритизация задач и направлений
Как аналитические, так и продуктовые задачи нужно приоритизировать по балансу импакта и расходам на них. Очень часто участие аналитика помогает автоматизировать многие сложные вопросы. Методология (ICE, RICE, MoSCoW) не так важна: всё равно придётся допиливать под потребности конкретной команды.

Формирование и рассказ истории из решённой задачи
Data Storytelling - интересное и важное направление. Решить задачу мало, важно рассказать о решении так, чтобы это поняла и приняла в работу целевая аудитория.

Налаживание процессов и следование им
Регламенты, блок-схемы, примеры, измерение, контроль.

Поддержание и развитие микроклимата внутри команды
Work-life balance, one-to-one, small talk, каналы с мемасиками, обсуждение околопрофессиональных новостей, купирование возможных конфликтов.

Проекты
Профессиональная деятельность
Deeplay
  • Продуктовая аналитика
  • Ценообразование
Проверял гипотезы, оптимизировал процессы, поднимал выручку, помогал быстрее избавляться от ненужных костов.

Сказбука
  • Продуктовая аналитика
  • Маркетинговая аналитика
  • Исследования рынка
  • Построение системы аналитики с нуля
  • Руководство командой аналитиков и дата-инженеров
  • Ценообразование
  • Участие в фандрайзинге стартапа
Построил систему аналитики с документацией, регламентами и процессами: сбор, хранение, дашборды, исследования.
Проводил тесты с сильным влиянием на ключевые метрики продукта.
Публиковал исследования, на основе которых принимались бизнесовые решения.
Строил ml-модель по заказу бизнеса с f1 97%

Связной, e-commerce
  • Продуктовая аналитика
  • Финмодели
  • Ценообразование
Проверял гипотезы, оптимизировал систему распределения костов по каналам маркетинга, улучшал ценообразование и политику скидок.

Ewa English
  • Построение системы аналитики с нуля
  • Маркетинговая аналитика
  • Продуктовая аналитика
Построил систему аналитики с нуля, оптимизировал расходы маркетинга. Настроил нейросеть для классификации признаков креативов.


Нетология
  • Построение системы аналитики почти с нуля
  • Маркетинговая аналитика
  • Продуктовая аналитика
  • Руководство командой аналитиков
Глобально перестроил систему аналитику, наладил процессы взаимодействия с бизнес-юнитами. Оптимизировал поиск точек роста и механизм трансляции проблем продакт-оунерам.


Kama Games
  • Маркетинговая аналитика
  • Сложные атрибуции
  • Продуктовая аналитика
  • Исследования рынков
  • Руководство командой аналитиков
Построил систему сложной атрибуции трафика, настроил процесс проверки гипотез, настроил процессы приоритизации и распределения задач в команде аналитиков.

Wikimart
  • Продуктовая аналитика
  • Прогнозы спроса
  • Автоматизация отчётности
Улучшил систему среднесрочного прогнозировал, автоматизировал регулярную отчётность.


Pet projects
Быстрый ресёрч про музыку
Простое исследование и ответ на конкретный вопрос. Интересно было набить руку на незнакомом наборе данных.
Ну и статья норм вышла. Гитхаб.

Моделирование классического рынка
Прикладной материал для изучения экономики. Классическая модель А. Смита, проверка того, как складывается конкуренция на большом промежутке времени.
Статья. Гитхаб.

Моделирование демографических данных
Прикладной материал, чтобы понять демографические процессы.
Гитхаб

Предсказание спортивных результатов: ЧГК
Интересная, но сложная задача: большая дисперсия результатов, большое влияние состава, много факторов, мало данных.
Гитхаб

Задачи для аналитиков
К сожалению, действительно хороших задач для проверки навыков именно аналитики на рынке мало, поэтому приходится создавать свои. Разумеется, на синтетических примерах и без нарушения NDA и иных других законов и правил.
Статья
(c) 2022. Kotelok, Roman Tsaregorodtsev