Девять ноябрей Матемаркетинга

Алексей Никушин объяснял происхождение Матемаркетинга через простую привилегию: у него был человек, которому можно задать трудный рабочий вопрос. У другого аналитика такой человек тоже мог быть — только, скажем, из интернет-магазина, а разобраться нужно было с аудиторией медиа. Сообщество вокруг «Интернет-аналитики» существовало с 2016 года. В 2018-м Никушин позвал людей встретиться в московском «Инфопространстве». О встрече рассказывали в канале и чате, в личных постах, в рассылках партнёров и сами спикеры. [7] [8]

Один день там можно восстановить почти по шагам. Аналитик Яков Осипенков записал, на какие выступления попал. У Дмитрия Аношина из Amazon он слушал про хранилища данных и BI — ту часть работы, без которой отчёту неоткуда взять цифры. У Романа Колеченкова увидел DataLens: внутренний инструмент Яндекса для отчётов и дашбордов становился облачным сервисом. А рядом шёл мастер-класс по Power BI: после разговоров про устройство системы можно было сесть и собрать отчёт руками. [3]

За пределами залов тоже шёл подсчёт. По итогам Никушина, которые приводит Осипенков, в 13:30 гардероб перестал справляться. А к концу дня организаторы как раз по гардеробу прикидывали, сколько человек осталось. Для конференции по аналитике трудно придумать более подходящий первый измерительный прибор. [3]

Перед первым Матемаркетингом Алексей Никушин всерьёз думал, не перенести ли конференцию. Накануне должна была пройти iMetrics. Дату оставили, и, по его воспоминаниям, пришли 650 человек. После первого ММ Никушин ушёл из Rambler и на четыре месяца уехал путешествовать. Вернувшись, он решил попробовать себя в роли предпринимателя. Второй Матемаркетинг команда готовила с мая по ноябрь. [7]

На этот раз встречались два дня, 14 и 15 ноября, в Grand Ballroom. В программе рядом стояли подписочная экономика, игровые продукты, сквозная аналитика рекламы и эксперименты. Одну только секцию по A/B-тестам организаторы описывали как шесть докладов: от устройства теста до инфраструктуры, на которой его запускают. По позднейшему воспоминанию Никушина, на конференцию пришли 1 700 человек. [8] [9] [5]

Хорошее представление о тех двух днях даёт доклад Дмитрия Кудренко про почтовые рассылки. Маркетолог может отвечать за открытия и клики, а от бизнеса получать вполне резонный вопрос про деньги. Какая связь между одним и другим? Организаторы позже выделили это выступление среди лучших за 2019 год и открыли запись. [10]

У этого спора о красивых цифрах получилась подходящая афиша. Дизайнеры из Delo сохранили знакомый античный бюст, надели на него розовые очки и заставили их слететь. Так дизайнеры обыграли девиз года про избавление от иллюзий. Посмотреть на грека в розовых очках. [11]

Из-за пандемии Матемаркетинг ушёл в онлайн. Организаторы заново собрали расписание: в понедельник, 9 ноября, — веб и мобильные приложения, во вторник — продукты и подписки, в среду — команды и управление. В четверг добрались до инженерии данных и отчётности. Пятницу целиком отдали «адским кейсам». Если интересовало только то, что пошло не по плану, было понятно, в какой день подключаться. [12]

Изменился и разговор со спикером. Илья Красинский выложил видео про оценку рекламных кампаний, а на пятницу пригласил слушателей с вопросами. Его пример: средняя конверсия выглядит как одно надёжное число, хотя за ней могут стоять группы покупателей с совсем разным поведением. Видео можно пересмотреть, а собственный пример принести на живую встречу. [10]

Для онлайн-эфира понадобились заставки. Дизайнер Ксения Рейда сделала трёхмерную модель античного бюста, а арт-директор Илья Носик написал музыку для деморолика. Он думал, что ролик увидят только в чате. Организаторы выложили его в Facebook, а трек лёг в основу музыкального оформления ММ. Как появилась музыка ММ — рассказывает Илья Носик. В ретроспективе Никушин насчитал больше 1 300 зрителей. Этой цифрой нельзя измерить очередь в гардероб — в тот год его вообще не было. [11] [5]

Весной у команды появился отдельный повод собрать продуктовых аналитиков. Организаторы назвали конференцию Aha! в честь момента, когда пользователь впервые понял, зачем ему продукт. Для аналитика тут есть работа: регистрацию видно сразу, а по какому действию понять, что человек действительно нашёл для себя пользу? В анонсе эту задачу разбирали ещё до расписания. Первый день, 8 апреля, отвели основам, второй — более сложным задачам бизнеса. [13]

Осенью на Матемаркетинге разговор можно было продолжить с другого конца. Человек уже пользуется продуктом. Почему он остаётся подписчиком и что в его поведении вообще можно наблюдать, когда меняются правила приватности? В программе ММ Кристина Махьянова и Григорий Мигунов разбирали удержание в Яндекс Плюсе; отдельной темой были ограничения на отслеживание пользователей. [14]

Вот за что мне нравится смотреть обе афиши рядом. Весной ставят вопрос о первом полезном действии. Осенью — о том, будет ли человек пользоваться подпиской дальше. Даже когда продукт один и тот же, для этих двух вопросов нужны разные данные.

Летом на Aha! у Avito были заявлены два доклада, которые легко принять за один. Александр Мирской собирался показать, как заранее оценить эффект скидки. Никита Фомичёв — как анализировать промоакции и не подсадить бизнес на постоянные скидки. Один вопрос задают до запуска, другой — когда покупки уже состоялись. [15]

Представим магазин: после рассылки с купоном пришло сто заказов. Для отчёта об акции число есть. Для решения, повторять ли её, не хватает другого: сколько из ста человек и так собирались купить? Чем щедрее скидка для таких клиентов, тем дороже обходится ошибка. Это мой пример того, почему два доклада уместились в одну программу.

В ноябре ММ прошёл в кампусе Сколково. Алексей Бирюков из Андаты рассказывал о прогнозной модели для рекламы: как использовать события в поведении пользователя, чтобы оптимизировать кампанию. Докладывали и о самой профессии — участница из ВШЭ, например, отдельно запомнила разговор с Алексеем Макаровым о карьерных ступенях аналитика. В одной поездке можно было разобраться и с рекламным алгоритмом, и с тем, чего ждут от тебя на следующей должности. [16] [17]

В 2018-м Роман Колеченков показывал, что умеет DataLens. В анонсе Aha!’23 команда Яндекса уже предлагала участникам чек-лист переезда в него. Пять лет между вопросами «что это за штука?» и «как перенести туда наши отчёты, чтобы они не сломались?». [9] [18]

В том же анонсе — мониторинг событий, подготовка истории кликов и смена источника данных. Вместе они хорошо объясняют скучную на вид работу. Вот моя схема одного рекламного клика: браузер записал событие → оно доехало до таблицы → отчёт отнёс его к кампании → по отчёту кто-то перераспределил бюджет. Если при переезде событие записали два раза, убедительнее всего ошибка будет выглядеть в последнем звене. [18]

На осеннем ММ в числе заявленных тем были эффективность бюджетов, рекламное мошенничество и платформы экспериментов; в анонсе — Дарья Бархатова из Utair, Виктор Крылов из Самоката и Вячеслав Коськин из Ozon. Между сбоящим счётчиком и фальшивым кликом большая техническая разница. Для человека, который платит за рекламу, вопрос один: за что именно выставили счёт? [19]

В июньской программе Aha! я нашёл себя от Samokat.Tech. Моя тема — комплементарные товары. Звучит солидно, а за ней вопрос категорийного менеджера: какие товары люди покупают вместе и что из этого полезно знать про ассортимент? В заголовок вынесли детское питание. Если два товара попали в один заказ, из чека, увы, ещё не видно, кто из домашних чем его запивал. [1]

Мы искали устойчивые пары. Бизнесу были интересны связи между категориями, а среди найденных сочетаний часто встречались товары из одной категории. Для меня это самая полезная часть примера: прежде чем рекомендовать что-то поставить рядом, приходится понять, какую связь мы в действительности научились замечать. В соседних докладах Дмитрий Казаков и Кирилл Кочнев разбирали, как выяснять причины наблюдаемого эффекта. [1]

Осенью в «Ломоносове» Юрий Борзило вынес в программу ММ ошибки в экспериментах: их можно допустить ещё при проектировании, в инфраструктуре или уже за разбором результата. А Александр Ковалевский разбирал эффект пользовательских отзывов на Маркете. Увидеть, что товары с отзывами покупают чаще, можно в таблице. Установить, какую часть разницы дали сами отзывы, — задача на отдельный доклад. [20]

Открывая приложение доставки, я вижу цену за один заказ, в одном месте, прямо сейчас. В программе Aha!’25 Андрей Нарцев из Яндекс Доставки разбирал применение машинного обучения для динамического ценообразования. Рядом с такими задачами в расписании остались вполне земные вопросы: Дарья Леонова говорила о том, как команда работает с экспериментами, Алёна Солдатенко — как следит за состоянием бизнеса и разбирает изменения показателей. [21]

В ноябре Фёдор Вирин на Матемаркетинге смотрел на покупки с другого расстояния: как меняется поведение потребителей и экономика электронной торговли. На одном экране можно показать цену доставки, которую видит конкретный покупатель. Чтобы говорить о рынке, придётся увидеть и тех покупателей, которые в это приложение сегодня вообще не вошли. [6]

По опубликованным итогам, ММ собрал 2 200 участников. В числе тем организаторы отдельно выделяли внедрение AI и эффективность работы. На фоне доклада о доставке у этих слов появляется хороший практический смысл: кто примет следующее решение о цене и как команда узнает, что решение было удачным? [6] [22]

Весенняя Aha! уже состоялась. Марк Хабаров и Михаил Рязанский из Дзена показывали, как языковые модели помогают искать объяснения результатам эксперимента после A/B-теста. Здесь любопытен сам момент передачи работы: данные уже собрали, эксперимент закончился, и теперь часть разбора можно поручить модели. Но правдоподобное объяснение в этом месте особенно легко принять за найденную причину. [23]

У осеннего ММ пока есть программа: онлайн-день назначен на 17 ноября, встреча в московском кластере «Ломоносов» — на 26 и 27 ноября. Радослав Нейчев заявлен с темой устройства агентов, Роман Бунин — с внедрением AI, а Валерий Бабушкин — с вопросом о том, как языковые модели меняют работу специалиста. Я готовлю доклад о том, сколько аналитической работы можно передать агенту и чем проверить, выполнил ли он её. [24] [2]

Два года назад я разбирался, что можно утверждать по одной корзине покупателя. Сейчас разбираюсь, что можно принять по одному отчёту агента. В обоих случаях самый интересный разговор начинается после того, как на экране уже появился вполне убедительный ответ.