Share |

суббота, 5 августа 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2

Это уже вторая часть, первую часть смотрите Вовлечение персонала через e-mail рассылки: A/B тест.
Вкратце суть простая: я предлагаю вам поэкспериментировать с корпоративной рассылкой с целью поднять вовлеченность персонала. Но поскольку уговорить вас провести такой эксперимент тяжело, признаюсь, я не умею продавать свои услуги, то мне проще сделать такой эксперимент на своих данных.
Я веду рассылку сайта HRM. У меня есть статистика доставленных писем, количеств открытых писем, количества переходов.
Суть метода A/B test проста (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.
Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2

В первом выпуске я задавал разные параметры в имени отправителя рассылки: для одной группы отправителем был "HRM" во втором выпуске  - "Бабушкин Эдуард".
На этой неделе я игрался с названием рассылки.
Без болтовни к

Результатам
1 августа

Вышла рассылка с идентичным содержанием, но разными названиями для групп (отправитель для обоих групп был HRM):
  1. рассылка сайта HRM
  2. Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
Во второй рассылке перечислялись темы статей. И гипотеза, как вы легко можете догадаться была простой: а стоит ли напрягаться и прописывать так название?

Статистика


Доставлено
Открыто
Переходов
Переходов уникалов
Отписалось
рассылка сайта HRM
5042
338
96
56
14
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
5038
313
158
93
19
Сразу бросается в глаза результат: в первом случае больше открытий, но меньше переходов!
Что говорят статистические критерии (если хотите понимать, про что я ниже пишу и сами уметь считать, то вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва):
  • Хи квадрат для соотношения доставленных и открытых писем p-value = 0.3684, и мы больше не смущаемся большему числу открытых писем.
  • Хи квадрат для соотношения доставленных писем и переходов p-value = 0.0001538. И это совсем неплохо. 
  • Для переходов уникалов (отличие от предыдущего в том, что в просто переходах один и тот человек может сделать два и более переходов по ссылкам, а переход уникал - этот один человек, сколько бы переходов он не сделал) - p-value = 0.003375
  • И для отписантов Хи квадрат равен p-value = 0.4859. И славбох.
Интерпретация результатов: на количество открытий разные названия не влияют, не влияют на количество отписавшихся, но в случае названия, где указаны темы выпуска, количество переходов выше, причем преимущество особенно возрастает в том, что в группе в названием тем выпуска получатели чаще делают по два и более перехода.
Проверим на выпуске

3 августа

Названия рассылок
  1. рассылка сайта HRM
  2. Проверка на стресс в банке, что нужно знать об управлении персоналом в 2017, как не исчезнуть с рынка труда

Статистика


Доставлено
Открыто
Переходов
Переходов уникалов
Отписалось
рассылка сайта HRM
5012
272
95
44
7
Рейтинг ВУЗов, откровенно о зарплате, дискриминация в подборе и утро понедельника
5011
276
149
73
7
Тут есть одна небольшая засада: рассылки читают не сразу в первый день выпуска, поэтому у рассылки 3 августа в целом показатели чуть хуже, просто потому, что у меньшего количества руки дошли. Я нетерпеливый, ждать не могу. тем более, что последующие изменения не сильно влияют на картину в целом. Ну и статистические критерии говорят:

  • Сравнение доли открытых и доставленных не имеет смысла: различия незначимы очевидно, p-value = 0.9007;
  • Сразу тоже скажу для количества отписавшихся;
  • Хи квадрат доли доставленных и переходов - p-value = 0.000801 - примерно в пять раз хуже, чем в первом случае, но нас, согласитесь, устроит. 
  • И для переходов уникалов - p-value = 0.01006 - и это не есть здорово.

Тем не менее, мы говорим, что в целом подтверждается гипотеза о том, что рассылка с тематическим названием дает большее количество переходов, особенно переходов два и более клика от одного пользователя.
Таким образом, можно твердо сказать: не стесняйтесь делать тематические названия рассылки.
Вам кажется вывод банальным? Ну может и так, хотя я не согласен и считаю, что вот такие "банальности" и должны всегда подтверждаться, и я могу совершенно четко количественно оценить выигрыш.
И да, это не последний мой пост по данной тематике, я продолжу эксперимент:) Гото от вас услышать гипотезы, с чем можно поэкпериментировать.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке 

Комментариев нет:

Отправить комментарий