Как мы считаем цифры в кейсах

Откуда берём метрики

Мы держим собственный магазин постеров и декора на Wildberries и Ozon. Все цифры в кейсах — из кабинета продавца этого магазина: раздел аналитики по карточкам, стандартные отчёты площадки. Мы не покупаем данные, не берём их у клиентов и не пересчитываем через сторонние сервисы аналитики.

Метрики берём в том виде, в каком их считает сама площадка. CTR — доля переходов в карточку от показов в поиске и каталоге. Конверсия — отношение заказов к просмотрам карточки. Заказы — штуки за период, без вычета отмен и возвратов, если в кейсе не сказано иначе.

Почему before/after слабее A/B

A/B — это когда половина карточек получает изменение, а вторая половина остаётся как была, и обе живут один и тот же период. Сезон, реклама, изменения алгоритма выдачи — всё это действует на обе группы, поэтому разница между ними с большой вероятностью объясняется именно изменением.

Before/after — это когда мы сравниваем одни и те же карточки в двух разных периодах. Такой метод не отделяет эффект изменения от всего остального, что случилось между периодами. Если в декабре выросли заказы, это могло быть новое фото — а могло быть просто декабрь.

Поэтому метод указан на каждом кейсе прямо в плашке фактов. Сейчас у нас 1 кейс с контрольной группой и 2 кейса по методу до/после. Кейсы второго типа мы публикуем, но не выносим их проценты в заголовки раздела и прямо пишем в оговорках, что доказательность у них ниже.

Про размер выборки

Наши выборки — это десятки карточек, а не тысячи. На таких объёмах статистическую значимость мы не рассчитываем: честнее сказать, что не рассчитывали, чем приложить p-value, посчитанное на восемнадцати наблюдениях.

Практический вывод для читателя: считайте наши цифры направлением, а не обещанием. «Интерьерный кадр поднял CTR примерно на треть» — это полезное наблюдение. «Ваш CTR вырастет на 31%» — это не то, что мы говорим, и не то, что можно вывести из выборки в сорок карточек.

Как мы округляем

Проценты приводим с одним знаком после запятой, штуки — целыми. Числа в кейсах — ориентир по внутренним данным кабинета, а не выгрузка отчёта строка в строку. Если в кейсе есть скриншот статистики, на нём закрыты артикулы и названия товаров: это наш работающий магазин, и отдавать конкурентам список артикулов мы не готовы.

Что мы не контролируем

• Сезонность. Спрос на декор растёт к концу года. В кейсах, где период попадает на сезон, мы это указываем.
• Рекламу. Мы стараемся не менять ставки в период замера, но полностью изолировать карточку от рекламных показов на площадке нельзя.
• Изменения выдачи. Площадки регулярно меняют алгоритмы ранжирования и не сообщают об этом.
• Отзывы. Новый отзыв за период влияет на конверсию сильнее, чем любая фотография.
• Конкурентов. Если сосед по выдаче снизил цену, наш CTR упадёт независимо от кадра.
• Вашу нишу. Всё описанное снято на постерах и декоре. Переносить выводы на электронику или продукты питания нужно с осторожностью.

Когда мы не публикуем кейс

Кейс без чисел, без периода, без указания выборки или без модели с версией не публикуется. Это не редакционное пожелание, а проверка на сборке сайта: файл кейса, в котором не заполнено любое из этих полей, не соберётся. По той же причине бейдж «Проверено продажами» на карточке промта — это всегда ссылка: он существует только там, где под ним лежит кейс с цифрами.

Если по какому-то направлению цифр у нас пока нет, кейса на сайте тоже нет. Мы предпочитаем короткий раздел кейсов длинному разделу правдоподобных историй.

Нашли ошибку

Если цифры в кейсе выглядят неправдоподобно или методика вызывает вопросы — напишите нам в бот. Мы поправим кейс или снимем его с публикации.