11 факторов, влияющих на эффективность обслуживания клиентов

Перевод статьи How 11 Factors Influence Customer Service Performance в рамках нашего проекта переводы статей по hr-аналитике на английском.
Перевод статьи выполнила Ольга Крутых (по ссылке - профиль в Линкедине). Ольга работала в HR, но несколько лет назад уехала в Испанию и, как я понимаю, в HR возвращается только через переводы)))
Статья кажется не HR-ая, но на самом деле, открою секрет, в списках задач по HR аналитике, управление лояльностью клиентов - одна из HR задач. Эта статья скорее обзорная, но начнем с чего-то - в моем блоге это первая статья про применение HR аналитики в обслуживании клиентов.
Итак,

11 факторов, влияющих на эффективность обслуживания клиентов 

Качество обслуживания клиентов – ключевая цель деятельности компании. Другими словами, любая компания стремится к тому, чтобы сделать своих клиентов счастливыми. Но как же этого добиться? В проведенном нами анализе мы рассматриваем факторы, которые могут оказать влияние на эффективность обслуживания, и в самом конце статьи приводим полный список метрик.

В литературе мы находим, что когда работники работают качественно, их клиенты:

1. Чувствуют себя счастливее
2. Чаще отзываются положительно о сервисе
3. Более удовлетворены
4. Чаще приходят в магазин
5. И покупают больше!

Проще говоря, компания зарабатывает больше, если ее клиенты счастливы. Так как же сделать их счастливыми?

В соответствии с литературой эффективность обслуживания клиентов зависит от нескольких факторов. Их можно разделить на 2 категории: индивидуальные и организационные.

Индивидуальные факторы, влияющие на эффективность обслуживания клиентов

Сначала рассмотрим индивидуальные факторы, которые помогают работнику предоставлять более качественное обслуживание.

В исследовании отмечается, что клиенты ресторана считают, что чем дороже блюда, тем они вкуснее. Поэтому субъективное восприятие – это все.

То, что посетители оценивают одну и ту же еду по-разному в зависимости от цены, означает, что чаще опыт клиента более важен, чем сам продукт.

Опыт клиента рождается из уникального взаимодействия клиента и работника. Работники стремятся исполнить любое желание клиента, так как знают, что когда клиент чувствует себя королем, он тратит больше денег.
Согласно литературным источникам личность работника - важный фактор в улучшении клиентского опыта.

Такие черты характера как добросовестность и экстраверсия влияют на эффективность обслуживания. Добросовестные люди отличаются организованностью, надежностью, ответственностью и трудолюбием. Обычно они выполняют то, что от них ждут.

Экстраверты общительны, разговорчивы и энергичны. При взаимодействии с другими (клиентами) они очень активны.

Другими словами, при равных условиях более добросовестный и открытый работник предоставит клиенту более качественный опыт.

Организационные факторы, влияющие на эффективность обслуживания клиентов

В статье Ployhart, Iddekinge & Mackenzie (2011) отмечается, что организационные факторы влияют на удовлетворенность клиента уровнем обслуживания.

Самый простой способ улучшить эффективность обслуживания – создать соответствующий «климат обслуживания».

Климат обслуживания – это организационная среда, в которой оценивают, стимулируют и вознаграждают качественное предоставление услуг. Подобный климат способствует развитию работников и улучшению качества услуг.

Исследование, проведенное Ployhart et al. (2011) показало, что магазины с более высоким уровнем климата обслуживания имеют более высокие показатели качества сервиса. В данном случае уровень климата определялся на основе оценок работников ресторана (см. ниже).

Второй фактор – это осознанная автономия (perceived autonomy). Чем выше влияние работника в принятии решений, тем выше его эффективность.

Причины могут быть многочисленны. Более самостоятельные работники чаще чувствуют себя ответственными и поэтому более уверены в себе. К тому же автономия может привести к большей свободе в принятии решений, что, в свою очередь, позволяет работнику быстрее разрешать проблемы.

Интересно, что в том же исследовании (объект исследования – рестораны) обучение персонала не влияло на улучшение уровня обслуживания.

Участие работников в тренинге не обязательно означает, что они получат знания или применят новые навыки в работе.

Возможно, что обучение относительно простым темам (как, например, подавание блюд в ресторане) не вызывает такого интереса у работников по сравнению с более сложными и интенсивными курсами, например, продажи.

За обслуживание на высшем уровне также не полагается дополнительного вознаграждения.

Итак, почему же так важна эффективность обслуживания?

Эффективность обслуживания клиентов в магазине определялась тем, насколько счастлив клиент и как часто он будет приходить в магазин. Другими словами, чем выше эффективность обслуживания, тем выше удовлетворенность и лояльность клиента (Ployhart et al., 2011).

Соединив 2 предыдущие модели, мы получим комплексную модель эффективности обслуживания клиентов:

В этом же исследовании обращают на себя внимание и другие интересные моменты.

Оценка уровня обслуживания зависит также от возраста и пола клиента. Чем старше клиенты, тем умереннее их оценки. При этом женщины чаще довольны обслуживанием и готовы вернуться в ресторан и рекомендовать его своим знакомым (высокая удовлетворенность и лояльность).

Метрики эффективности обслуживания клиентов

Оценку качества обслуживания мы предлагаем провести по метрикам, упомянутым в данной статье. Следующие 10 критериев (метрик) могут служить показателями удовлетворенности клиента.

1. Экстраверсия

Экстраверсия – первый по значимости фактор, входящий в “большую пятерку” факторов личности. Экстраверты общительны, разговорчивы, энергичны и умеют убеждать. Также они чаще стремятся к превосходству. Исследование показало, что экстраверты успешнее справляются с работой и имеют более высокие (индивидуальные) показатели обслуживания клиентов по сравнению с интровертами.

2. Добросовестность

Добросовестность – второй из “большой пятерки” факторов личности, имеющий прямое отношение к достижению наивысшей эффективности в обслуживании. Добросовестные работники надежны, ответственны, трудолюбивы и целеустремленны. Помимо этого добросовестность играет ведущую роль в оценке производительности труда в целом.

Три оставшихся фактора (открытость, доброжелательность и эмоциональность) не были связаны с достижением высших показателей обслуживания.

3. Когнитивные способности

Когнитивные способности работника - еще один показатель высокой удовлетворенности клиента. Работники с более высоким уровнем познавательных способностей (часто измеряемых в IQ) обычно оказывают более качественные услуги (Ployhart et al., 2011).

Люди с выраженными познавательными способностями будут быстрее учиться, осваивать больше информации и эффективно ее анализировать. Поэтому познавательная способность – наша третья по значимости метрика эффективности обслуживания. Более того, наглядным критерием (proxy) для данной метрики будет уровень образования работника.

4. Обучение персонала

Обучение ускоряет процесс усвоения специфических знаний (Hatch & Dyer, 2004). Оно направлено на совершенствование навыков. Отмечено, что более опытный работник обслуживает более качественно (Ployhart et al., 2011). Однако это утверждение не распространяется на все профессии. Работники, выполняющие несложные обязанности (например, работа официанта), получают меньше пользы от обучения в отличие от работников, занятых на более сложных работах.

5. Фактический опыт работы

Фактический опыт работы – еще одна из метрик оценки эффективности обслуживания, так как более опытные работники лучше подготовлены и следственно предоставляют лучший сервис (Ployhart et al., 2011). Например, типичная ошибка новичка, когда официант пытаясь удержать поднос, опрокидывает его на клиента со всем содержимым, может привести к ухудшению клиентского опыта и снижению удовлетворенности сервисом.

6. Климат обслуживания

Внутренний климат компании – важный фактор, влияющий на поведение работника. Если в организации созданы возможности для качественного оказания услуг, работники знают, что от них ждут сервиса высшего качества и он будет вознагражден. Работа в подобном климате приносит лучшие результаты. Доказано, что климат обслуживания воздействует на качество сервиса и уровень удовлетворенности клиента. Измерение климата можно легко провести в виде опроса работников, используя в анкете короткую шкалу. Примерный вопрос для шкалы может быть таким: «Ресторан измеряет и регистрирует качество вашей работы и сервиса?»

7. Местная конкуренция

На эффективность обслуживания также оказывает влияние местная конкуренция. Местной можно назвать конкуренцию между несколькими ресторанами, расположенными на некотором расстоянии друг от друга. При высоком уровне местной конкуренции улучшается удовлетворенность клиента, качество обслуживания оценивается выше и клиенты чаще возвращаются в ресторан.

Это объясняется тем, что в условиях жесткой конкуренции компании делают все возможное для повышения уровня обслуживания.

8. Индивидуальные показатели эффективности обслуживания

Данная метрика отражает качество сервиса, предоставляемого работником. Измерить этот показатель можно задав вопрос: «Готовы ли вы рекомендовать услугу (имя работника) другу или коллеге?» или используя форму обратной связи 360о, в которой клиента просят оценить уровень предоставляемой работником услуги.

Индивидуальный показатель эффективности обслуживания – это выходная переменная, зависящая от переменных, упомянутых в пп. 1-7.

9. Командные показатели эффективности обслуживания

Эффективность работы в команде зависит от эффективности обслуживания каждого работника. Исследование, проведенное Liao & Chang (2014), отмечает, что если у отдельного магазина индивидуальные показатели эффективности (п.8) выше среднего, он превосходит другие магазины, представленные в примере.

Другими словами, индивидуальные показатели эффективности обслуживания влияют «снизу-вверх» на командные показатели (bottom-up effect).

10. Удовлетворенность клиента

Удовлетворенность клиента – одна из самых важных метрик в оценке эффективности обслуживания. Все предыдущие метрики – это только предпосылка высокого уровня удовлетворенности клиента. Удовлетворенность измеряется различными способами. Все чаще и чаще мы выражаем удовлетворенность, поставив смайлик или лайк.

11. Лояльность клиента

Лояльность клиента отражает вероятность, с которой клиент вернется к вам или порекомендует вас другим. Она взаимосвязана с финансовым результатом: клиенты, которые приходят повторно, тратят больше, чем те, кто посещает магазин впервые.

Лояльность измеряется очень просто: регистрируя историю покупок клиента в программе (например, система бронирования). Наличие подобных систем может также помочь в улучшении качества клиентского опыта. Например, большинство соляриев регистрируют интенсивность загара и продолжительность сеанса своих клиентов, чтобы затем предложить лучший сервис, основанный на их истории. В качестве еще одного варианта можно предложить (сканируемые) карты лояльности.

__________________________________________________________

На этом все, читайте нас в фейсбуке и телеграмме

Анализ речи мог сейчас привести вас к повышению

Перевод статьи Speach analysis could now land you a promotion в рамках нашего проекта переводы статей по hr-аналитике на английском.
Перевод выполнила Анна Федорова, руководитель одного из hr-направлений крупной телекоммуникационной компании (по ссылке профиль в фейсбуке). Это уже второй перевод Анны, читайте также Компания Висконсина предлагает имплантировать микрочипы дистанционного управления своим сотрудникам. Анне достаются переводы про взрывы и революции. И эта статья - еще один такой взрыв - рассказ про то, как можно анализировать речь работников.
Это не будущее, а настоящее: Raja Sengupta рассказывал мне, что работал в проекте по анализу речи кандидатов на собеседовании для одного холдинга. Это значительно более сложная задача, чем робот Вера. Но такие сервисы скоро появятся у нас.
Итак,

Анализ речи мог сейчас привести вас к повышению

С меньшим количеством людей в человеческих ресурсах, программа анализа речи помогает работодателям нанимать новых кандидатов, оценивать пригодность для повышения по службе и измерять уровни стресса среди работников.
«Как вы отдохнули в воскресенье?», «Как прошел ваш последний отпуск?»
Хотя эти вопросы звучат очень просто, ваша следующая работа может зависеть от того, как вы на них ответите. И это будет не человек, с которым вы разговариваете, а компьютер. Вместо трудоемких онлайн опросников или психометрических тестов, некоторые рекрутеры просят кандидатов позвонить по номеру телефона, ввести личный пин-код  и ответить на серию вопросов, изложенных компьютером. Нет мыслей? Нажмите на решетку, чтобы перейти к следующему вопросу. До тех пор пока вы не поете, стучите или просто читаете вслух, что вы говорите не имеет значение. Важно, как вы это говорите.
Департаменты управления персоналом долго использовали компьютерные алгоритмы, чтобы просканировать резюме и выбрать лучших кандидатов на работу. Сейчас использование технологии переходит на другой уровень.
Речевые тесты используются рядом компаний не только для рекрутмента, но также для оценки и тренировки коммуникативных навыков, оценки пригодности для продвижения по службе и измерения уровня стресса сотрудников. Во всех случаях никто — как минимум, не человек — не слушает что вы говорите. Но действительно ли это объективно? И какие риски?
Это происходит вот как. Ваша 15-минутная голосовая запись анализируется в цифровом виде — тон голоса, подбор слов, структура предложений — чтобы определить черты личности такие как открытость к изменениям, энтузиазм, эмпатия. В долю секунды компьютерная программа определяет ваш характер. достижение статуса или хорошо организованы — в сравнении с идеальным Графики и диаграммы выявляют насколько вы дружелюбны, ориентированы на профилем кандадата, составленным рекрутером.
«Не существует человека в мире, который смог бы проанализировать так много аспектов личности, навыков и речи всего за 15 минут», говорит Mario Reis, со-основатель компании Precire Technologies, Ахен, Германия (прим. - компания-инновационный лидер технологий анализа речи). Их инструменты анализа речи используются гигантом человеческих ресурсов Randstad (прим. - рекрутинговая компания), транспортной компанией Fraport и страховой компанией Control€xpert, рассказывает Mario Reis.

Ваш голос раскрывает вас

Компьютер расшифровывает ваш голосовой файл, разделяя его на 500 000 аспектов речи. Затем ваш файл удаляется. При использовании в сфере электронного здравоохранения оно разработано так, чтобы быть анонимным, без определения личного опознавательного кода (пин-кода), говорит Reis.
Собранная информация сравнивается с результатами, ранее полученными у типовой группы. В исследовании, проведенном компанией Precire, у 6 000 человек была записана их речь и также они прошли традиционные личностные тесты. Это позволило исследователям определить речевые модели, связанные со специфическими личностными чертами.

Пока компьютерная программа идеальна на этапе отбора для включенных в «короткий список» кандидатов на работу, она не предназначена для того, чтобы заменить финальное личное интервью, говорит Reis. Но когда дело доходит до измерения коммуникативных навыков, он полагает, что анализ речи имеет преимущество. «Precire сравнивает [запись голоса] с лучшими продавцами, которых мы когда-либо оценивали, с лучшими руководителями, которых мы когда-либо оценивали. Возможно сравнить их объективно. Это то, что вы не можете делать в своей голове. Люди всегда подвержены субъективному ощущению», говорит он.
Ifp Management Diagnostics использует программное обеспечение, разработанное компанией Precire, чтобы оценить и обучить персонал для продаж и руководящих ролей, и измерить уровни стресса.
«Обратная связь от наших участников показывает, что они поражены точностью анализа их речи и личности», говорит Rainer Baecker, партнер и директор давно образованной компании точечного поиска персонала и развития, находящейся в Кельне, Германия. «Наши результаты не только показывают сильные и слабые стороны, но позволяют нам сделать незамедлительные выводы для поведенческих рекомендаций: как участник может расширить его коммуникативный репертуар», говорит он.
Другое преимущество это то, что анализ, проводимый компьютером, не находится по влиянием таких аспектов как пол, возраст или внешность и поэтому он высоко объективен.
Наряду с экономией времени и финансов работодателя, анализ речи делает процесс поиска работы быстрее и более удобным для претендентов, говорит Reis. «Мы видим, что около 75% пользователей Precire проходят свое интервью в первые 24 часа после получения номера телефона и пин-кода,  прямо в свой обеденный перерыв или перед обедом или по пути домой».

Риски

Но карьерный коуч и консультант по высвобождению работников Matthias Martens, компания Martens & Friends, Гамбург, Германия, предупреждает «С точки зрения сотрудника я вижу больше недостатков, чем преимуществ». Существует риск, что не носитель языка упустит возможность, говорит он, и риск людей, изменяющих свою речь, чтобы попытаться манипулировать результатами. Он также опасается, что люди, ищущие работу, которые отказываются представить образец речи, могут быть не допущены к отбору. «Никто в компании не допустил бы этого. Они всегда говорили бы, что это добровольно», говорит Martens. «Но компания, которая использует такой вид технологии это та компания, которая ищет инновационных и любопытных людей, а также имеющих позитивное отношение к техническому прогрессу».
«Если в период процесса рекрутмента кто-то откажется принимать участие [в речевом тесте] из-за страха или скептицизма, то компания подумает, что не стоит больше тратить время на них и найдет ту или иную причину, чтобы отказать им». Для людей, кто пройдет тест, говорит он, «Я думаю, важно, что результаты анализа оцениваются и интерпретируются обученным HR специалистом или психологом и что кандидату дается честная обратная связь о том, что показал тест о нем».
«Меня беспокоит то, что недостаточно подготовленный HR персонал сделает жизнь легкой для себя, позволяя технологии сделать работу и не доверяя своим собственным аналитическим навыкам, поэтому машина принимает все больше и больше решений». Alessandro Vinciarelli, эксперт по вычислительной науке, неврологии и психологии Университета Глазго, Великобритания, говорит, что только в последние пять лет или около того анализ речи начал использоваться. С точки зрения точности, говорит он, «в половине случаев вы можете быть уверены в автоматически полученных данных. В других 50%, лучше, если у вас есть экперт чтобы рассмотреть [выводы]. В целом всегда лучше иметь эксперта». «Эти технологии не предполагают заменить людей. Они предполагают помогать и содействовать профессионалам».
Метод хорошо подходит для найма на работу, связанную с множеством межличностных контактов, говорит он. «Вы можете определить, насколько люди чуткие, вы можете измерить быстры ли они и непринужденны ли при взаимодействии с другими... и для простых работ таких как работа в колл-центрах, способность к коммуникации может быть проверена очень легко этими видами технологий». И, добавляет он, «до сих пор, рекрутмент обычно основывался на чтении резюме [который] всегда неизбежно сводился к просмотру хороших университетов и правильных мест».
Анализ речи, говорит он, может проходить «немного больше этого и возможно увеличит шансы людей кто по той или иной причине не смог сделать лучший шаг в некоторых точках своей карьеры».  Риск, говорит Vinciarelli, это то, что рекрутеры могут начать доверять результатам технических методов и исключать другие методы. «Это вопрос поиска некоторого хорошего компромисса между использованием таких технологий и полной уверенности в нем. Вы должны использовать его с чуткостью и деликатностью».
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме

Прогноз эффективности работников на основе тестов профессиональных знаний

У меня возник интересный проект, который мне подкинул клиент, и за который я по традиции ничего не получил.
Но проект интересен эвристикой, которую я нарыл, и ей хочу поделиться.
Задачка такая: порядка 500 манагеров в компании, работа которых связана с профессиональными знаниями. Поэтому логичным выглядело решение менеджмента компании протестировать работников на тест профессиональных знаний.

Задача

как на основе теста профессиональных знаний выявить эффективных.
Про эффективность скажу только, что она измерялась "1" - эффективный и "0" - не совсем чтобы.
Задача осложнялась тем, что спецы были не монопрофильные, в компании 8 функциональных направлений и три уровня должности (спец, спец повыше и спец еще повыше).
В тестах использовалось около 300 вопросов (!!!), но вопросы не шли сплошняком для всех менеджеров, а давались выборочно, поэтому мы не могли получить датасет размером 500 манагеров Х 300 вопросов. Точнее, мы его получить получили, но это была sparse матрица - с большим количеством пропущенных значений. Итого у нас в ячейках могло быть три значения: 1 - если респондент ответил правильно на вопрос, 0 - если ответил не правильно, пустая ячейка, если респондент не отвечал на этот вопрос.
К плюсам можно было только отнести только то, что вопросы не строго соответствовали позиции и функциональному направлению, а было много пересечений, т.е. один вопрос мог перекрывать несколько функциональных направлений и уровней должности.

Варианты

1. Можно было бы сделать свою модель для каждой из 24 позиций (8 функциональных направлений Х 3 уровня позиции). Это не вариант, потому что на каждую позицию среднем выпадает по 20 строк, что не позволяет говорить хоть мало мальски статистической валидации. Можно типа было объединить спеца повыше и спеца еще повыше, но и в этом случае данные нам мало что дают. 
2. Можно было бы тупо запихать все в алгоритм машинного обучения, дамми кодинг и все такое. Но возникает вопрос, насколько это вообще правильно? К примеру вопрос был задан 100 манагерам, 50 ответили правильно, 50 ответили неправильно. У нас в одной переменной 50 единиц и 450 нулей, в другой 50 единиц и 450 нулей. 
3. Я избрал третий путь, причем этот путь определялся не только задачей собственно получения точности, сколько позицией клиента. Клиенту нужно было "живое" решение. Ну т.е. чтобы дать что-то, что клиент мог бы применять прям и сразу. А в случае алгоритма машинного обучения это был бы черный ящик: ты туда загружаешь данные, а оттуда колбаса. Клиент не поймет. 

Решение

1. Решение должно быть наглядным. Первым делом я отбросил вопросы с низкой дисперсией, т.е. вопросы, на которые почти все ответили правильно или почти все ответили неправильно. Понятно, что такие вопросы в принципе не могут дифференцировать эффективных и не очень.
2. Далее, я тупо запустил цикл с Хи квадрат (у нас показатели эффективности - "1" и "0", и в ячейках "1" и "0") с поправкой йейтса, канечна же. И отобрал только те вопросы, где p-value было ниже 0, 05. Без учета позиции, функционального направления и т.п.. 
3. В уже отобранном списке я еще запустил цикл с уже корреляцией, чтобы выявить те вопросы, которые отрицательно коррелировали с эффективностью. И такое тоже было: порядка 5-6 вопросов. Они были значимо связаны с эффективностью, но я решил от них отказаться, потому что противоречило содержательной логике: если работник правильно отвечает на вопрос, то с больше вероятностью он будет не эффективным. Наверное, разработчики вопросов не закладывали такой логики.
4. Остались только вопросы, положительно связанные с эффективностью, и в этом месте я делаю финт ушами: я считаю общее количество вопросов по строке - по каждому работнику, я считаю количество правильных ответов, и я считаю % правильных ответов. Где то в глубине души полагая, что если если каждый выбранный вопрос положительно коррелирует с эффективностью, то сумма даст более точное решение.
5. В итоге мы получаем две переменные: эффективность и % правильных ответов. 

Как вы уже догадались, по оси X - % правильных ответов, красная линия - для не очень эффективных, зеленая линия - для эффективных.
Решение уже выглядит не зряшным. Описательные статистики для двух групп такие

$`0`

   Min.    1st Qu.    Median    Mean    3rd Qu.    Max.

 0.0000    0.2500     0.3750    0.4084     0.5357    0.8750

$`1`

   Min. 1st Qu.    Median      Mean    3rd Qu.    Max.

 0.0000  0.5000     0.7029    0.6647    0.8235     1.0000
Т.е. эффективные в медиане отвечают на 70 % вопросов правильно, а не эффективные - на 37 %.

Дерево решений и другие ужасы нашего городка 

дает нам скоринговую карту

Это значит, что если вы отвечаете на 43 % вопросов правильно и выше, то с 87 % вероятностью вы будете эффективным. Если вы отвечаете на менее чем 34 % вопрос правильно, с 66 % вероятностью вы будете неэффективным. И сонфьюзион матрикс на тест сете дает нам такую картину
      FALSE  TRUE
  0      11         19

  1       5          73
Базовая точность 72 %, мы получили 78 %. Пресижн - 79 %. Хотя в нашем случае под пресижн надо считать не 73/(73+19), а скорее 11 / (11+5) = 69 % . И мы отсекаем 35-40 % неэффективных (11 / (11+19).
Если взять случайный лес и прочие алгоритмы, то они конечно же дают точность выше. Но не критично выше - точность на 5-7 % повыше. Кстати, если в модель добавлять собственно вопросы, то точность также не особо растет. Растет, как ни странно, при добавлении вопросов, которые отрицательно коррелируют с эффективностью. Но я таки не стал их включать в модель, ибо сердце человеческое требует гармонии.
И не забывайте, что этот "алгоритм" можно уже завтра ставить клиенту и считать. Просто считаем % правильных вопросов по нужным вопросам и принимаем решение - скоринговая карта.
Вот собственно вся эвристика.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.

На этом все, читайте нас в фейсбуке 

Изучаем регрессию дальше

Задача

В предыдущей статье «Регрессия: Как начать предсказывать» мы коснулись темы простой линейной регрессии. Сегодня мы продолжим погружаться в эту интересную тему.

Итак, задача на сегодня у нас следующая. Есть данные участников мастер-класса по скорочтению (126 наблюдений). Мы построим модель прогноза Количества прочитанных книг за год на основании Скорости чтения человека. Т.е. Количество книг это зависимая переменная, а Скорость чтения – это независимая переменная (предиктор).

В предыдущей статье мы уже строили простую линейную регрессию.

В этой статье мы задействуем следующие методы:

·        Полиномиальная регрессия

·        Decision Tree («Дерево решений»)

·        Random Forest («Случайный лес»)

·        SVR (метод опорных векторов)

·        KNN (метод k-ближайших соседей)

После того как мы построим все эти модели, мы их протестируем на тестовой выборке. И после этого посмотрим, какая модель лучше всего справилась с заданием. Т.е. выберем лучшую.

Подготовка данных

У нас есть набор данных участников мастер-классов по скорочтению. База, на основании которой мы будем строить нашу модель.

Загрузить данные в R можно следующей командой:

dataset <- read.csv("SpeedReading_4_Groups.csv", sep = ";")

Посмотреть на первые шесть строк нашего датасета можно так:

head(dataset)

Никакой особой подготовки или преобразований наши данные не требуют.

Нам только нужно разделить наши данные на тренировочный и тестовый наборы данных. Т.е. на тренировочном датасете мы будем тренировать наши модели, а на тестовом – будем их тестировать.

Разделить наши данные на два датасета можно следующим кодом:

trindex = sample(1:nrow(dataset), nrow(dataset)*0.8)

training_set = dataset [trindex, ]

test_set = dataset [-trindex, ]

В результате такой операции мы получим два датасета:

training_set – тренировочные данные

test_set – тестовые данные

При этом данные будут распределены в пропорции 4/5. Т.е. 80% данных пойдет в тренировочные датасет, а 20% оставшихся в тестовый.

Вспоминаем линейную регрессию

Давайте построим простую линейную регрессию с одной независимой переменной, как мы это делали в прошлой статье.

У нас получится следующая модель:

А также давайте визуализируем данную модель.

Линейные модели мы можем использовать, когда выполняются определенные условия. Такие, как, например, линейная взаимосвязь и нормальное распределение наших переменных.

Тест на нормальность распределения наших переменных:

А также гистограммы:

Т.е. наша зависима переменная (Количество прочитанных книг) не прошла тест на нормальность. Кроме того, если посмотреть на график scatter plot, где отображена взаимосвязь наших двух переменных, то мы увидим, что связаны они не совсем линейно.

Нелинейные модели

Теперь давайте попробуем решить нашу задачку при помощи нелинейных моделей.

Полиномиальная модель

Построить такую модель совсем несложно. Достаточно добавить несколько полиномов. Например, это можно сделать так:

training_set$Level2 = training_set$Скорость.чтения^2

training_set$Level3 = training_set$Скорость.чтения^3

training_set$Level4 = training_set$Скорость.чтения^4

poly_reg = lm(Сколько.книг~Скорость.чтения+Level2+Level3+Level4, data = training_set)

summary(poly_reg)

В результате выполнения данных команд мы получим следующую модель:

Интерпретация такой модели ничем не отличается от линейной модели. Здесь мы можем увидеть все предикторы, а также посмотреть чему равняется R² нашей модели.

Давайте визуализируем и данную модель:

Теперь давайте построим и другие типы моделей.

·        Decision Tree («Дерево решений»)

·        Random Forest («Случайный лес»)

·        SVR (Метод опорных векторов)

·        KNN (Метод k-ближайшего соседа)

У данных методов есть настраиваемые параметры. В данной статье мы не будем детально вдаваться во все подробности такой настройки, а попробуем использовать некие “стандартные” величины.

Decision Tree («Дерево решений»)

Для построения модели Decision Tree достаточно выполнить следующий код:

dTree <-  rpart(formula = Сколько.книг ~ Скорость.чтения,

                  data = training_set,

                  control = rpart.control(minsplit = 3))

И давайте также визуализируем полученный результат:

Мы видим, что данный метод совсем по-другому визуально пытается описать наши данные в отличие от простой линейной регрессии.

Random Forest («Случайный лес»)

Двигаемся дальше. Теперь метод Random Forest. Для построения регрессионной модели данным методом необходимо выполнить следующий код:

rndForest = randomForest(x = training_set[5],

                         y = training_set$Сколько.книг,

                         ntree = 5)

И давайте посмотрим на визуализацию нашей новой модели:

Из рисунка видно, что данный метод еще более «изощрённо» пытается описать наши данные.

SVR (Метод опорных векторов)

Переходим к следующему методу – SVR (Метод опорных векторов). Для построения регрессионной модели, необходимо выполнить следующую строку кода:

fitSVM = svm(formula = Сколько.книг ~ Скорость.чтения,

                data = training_set,

                type = 'eps-regression',

                kernel = 'radial')

И также давайте посмотрим на графическое отображение нашей новой модели:

Рисунок показывает нам, что данный метод строит более плавную линию для описания наших данных.

KNN (Метод k-ближайшего соседа)

И последний метод k-ближайшего соседа. Для построения регрессионной модели при помощи данного метода, нам необходимо выполнить следующий код:

fitKNN <- knn.reg(training_set[5], test_set[5], training_set[,4], k = 5)

И визуализируем нашу модель на графике:

Из рисунка мы видим, что метод KNN чем-то похож на визуализацию Random Forest. Такая же ломанная кривая линия.

Тестируем и выбираем лучшую модель

Теперь давайте протестируем все наши 6 моделей на тестовом наборе данных. Если помните в самом начале мы разделили наш датасет на две части: тренировочный датасет и тестовый датасет. До этого момента мы использовали тренировочный датасет. А теперь мы воспользуемся тестовыми данными.

Т.е. ответим на вопрос, а какая модель лучше других может более точно предсказывать значения Количества прочитанных книг на новых данных.

В этом нам помогут три показателя:

MAE (Mean Absolute Error) – Средняя абсолютная ошибка между предсказанной и реальной величиной. Чем меньше ошибка, тем лучше.

RMSE (Root Mean Squared Error) – Квадратный корень из среднеквадратичной ошибки между предсказанной и реальной величиной. От МАЕ отличается тем, что «штрафует» большие ошибки сильнее. Чем меньше, тем лучше.

Rsq (коэффициент детерминации) – это доля дисперсии зависимой переменной, объяснённая нашей независимой переменной или переменными. Чем он больше, тем лучше.

После несложных вычислений и применения наших 6-ти моделей к тестовым данным, мы получим вот такую таблицу:

Давайте выберем трех лидеров по каждому показателю:

МАЕ: линейная, KNN и полиномиальная

RMSE: полиномиальная, Decision Tree и KNN

Rsq: полиномиальная, Decision Tree и KNN

По всем трем показателям у нас лидируют две модели: полиномиальная и KNN.

Ранее я говорил о том, что метод KNN-регрессии имеет настраиваемый параметр. Этот параметр (k) задается в формуле. Когда мы строили модель первый раз, мы задали стандартное значение 5. Но давайте теперь попробуем подобрать оптимальное значение (k), при котором наша ошибка RMSE будет минимальной.

Запустив совсем несложный цикл, мы получим следующий результат:

Т.е. наша ошибка RMSE будет минимальной при k=3. Давайте еще раз построим модель KNN с учетом нового значения k=3.

fitKNN <- knn.reg(training_set[5], test_set[5], training_set[,4], k = 3)

И теперь еще раз рассчитаем все наши параметры для выбора лучшей модели:

Мы видим, что настройка параметра k дала свои результаты. Теперь у нас у метода KNN самая минимальная ошибка RMSE и самый большой Rsq.

Мы могли бы тюнинговать и другие методы, но это уже материал для новой статьи.

Теперь визуализируем все наши модели (линии) и на эти же графики точками нанесем данные из тестового датасета. Так мы сможем понаблюдать воочию, насколько точно наши модели описывали новые данные.

Ниже представлен именно такой график:

Выводы

В этой статье мы познакомились с несколькими нелинейными методами регрессии и решили поставленную в начале задачу. А именно:

        1)    Построили модель регрессии различными методами

        2)    Рассчитали критерии точности моделей для выбора наилучшей

        3)    Настроили k-параметр в KNN методе

        4)    Выбрали наилучшую модель и визуализировали итоговый результат

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

Это уже третья часть эксперимента с рассылкой сайта HRM. Цель эксперимента - повысить вовлеченность подписчиков, а точнее - увеличить количество открытий писем и количество переходов по ссылке.
Суть A/B test-а - проста - (подробнее здесь): если мы разобьем всех получателей рассылки на две группы, причем разобьем случайным образом, и для каждой группы зададим какие то свои, определенные параметры, то мы можем выяснить, какие именно параметры лучше всего подходят нашей рассылке.

1. Вовлечение персонала через e-mail рассылки: A/B тест - в первой части я делил группы по имени отправителя. 
2. Вовлечение персонала через e-mail рассылки: A/B тест. Часть 2 - во второй части каждая группа получала рассылку с разным название, одно название "просто" "рассылка сайта HRM", а другая содержала в себе название тем рассылки 

Вовлечение персонала через e-mail рассылки: A/B тест. Часть 3

В третьей части я дал группам разные названия, и оба названия рассылки содержали в себе названия тем рассылки, но темы были разные для каждого названия. Гипотеза была проста - проверить, чаще ли получали подписки переходят по ссылкам тем, указанных в названии рассылки или нет. На прошлой неделе вышло две такие рассылки

8 августа

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
Сервис борьбы со стрессом, компьютер оценил менеджеров Силиконовой Долины, отпускные 2017	5042	303	98	50	3
Как роботы ищут персонал, востребованные профессии Мск, чиновники учатся предотвращать секс домогательства	5040	259	77	45	7

В крайней левой колонке название рассылки, и каждое название состоит из трех тем, и темы не совпадают.
Даже визуально связь не проглядывается, количество открытых писем в первой случае больше, но значимость Хи квадрат 0.07867, поэтому разницы нет. Но мы гипотезу строили не про общую статистику рассылки, а про конкретные темы, поэтому давайте посмотрим на эту статистику.

	первая	вторая
Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн	18	6
Суперкомпьютер IBM назвал самого осторожного и самого неосторожного руководителя Кремниевой долины	6	3
Отпускные – 2017: правила оформления без ошибок. Как оформить ежегодный основной оплачиваемый отпуск, чтобы соблюсти нормы трудового законодательства и избежать штрафов ГИТ?	5	2
Рекрутер с железной хваткой: как роботы ищут и нанимают людей	8	20
Самые востребованные профессии в Москве	9	16
Чиновники учатся предотвращать сексуальные домогательства на рабочем месте	3	5

В этой таблице цветом обозначены темы рассылок (желтым темы в названии первой рассылки, зеленым- темы в названии второй рассылки). При этом напомню: в названии рассылок темы были указаны разные, но само содержание письма было идентично. Т.е. тема про он лайн сервис была в обоих письмах, в названии была отражена только для одной из групп получателей. 

И в колонках - переходы по ссылкам. Т.е в первой группе по ссылке Онлайн-сервис по борьбе со стрессом Welltory привлек $1 млн перешли 18 раз, во второй группе - 6 раз. И в первой группе эта тема была в названии. Можно ли сказать, что в первой рассылке по ссылкам, указанным в названии, ходили значимо чаще? Ответ - да, p-value = 0.03408. Но значимость слабая. (я суммировал переходы по ссылкам и считал относительно числа открытых писем) 

Тот же самый показатель для второй рассылки -p-value = 0.002684. Показатель значительно лучше. 

Т.е. мы делаем вывод - да, вынесение названия темы в название рассылки значимо повышает количество переходов по ней. Хотя разные значимости говорят, что темы бывают разными. 

10 августа

Для валидации сделал тоже самое в рассылке 10 августа. Сразу к результатам.

	Доставлено	Открыто	Переходов	Переходов уникалов	Отписалось
Ошибки в соцсетях с т.з. карьеры, Греф сокращает Сбер, странные вакансии	5033	365	329	141	2
Лучшие HR-практики Росатома, россияне оценили свою жизнь, заверяем копии трудовых по новому	5016	291	167	65	7

Заметно преимущество первой рассылки - "угадал" с названием.
В первом случае открывали значимо чаще - p-value = 0.006585.
Количество переходов было еще значимей - p-value = 2.233e-12.
И переходы уникалов p-value = 2.64e-07.
Мимоходом замечу, что в первой рассылке было больше тех, кто делал два и более перехода, а значит "угадал" не с одной темой, а с несколькими.

	первая	вторая
10 промахов в соцсетях, которые точно испортят вашу карьеру	77	27
Греф анонсировал массовые сокращения в Сбербанке	63	16
Антиголубь, Саурон, русалка: странные вакансии и соискатели	23	10
Разработка УЭХК вошла в ТОП-3 лучших HR-практик Росатома	6	11
Россияне оценили свою жизнь в 5,7 млн рублей	7	3
Заверяем копии трудовых по-новому	35	22

Результат забавный!
Для первой группы Хи квадрат p-value = 3.582e-07 просто невероятное превосходство, а для второй рассылки Хи квадрат не значим.
Отсюда напрашивается еще одна гипотеза: не старайтесь в названии протолкнуть всякое говно, которое вы хотите, чтобы подписчики скушали. Более выгодной может оказаться стратегия, когда вы в названии дадите конфетку, а говно будет просто в топе.
Но это тоже надо проверить, чем я дальше и займусь.
И еще напрашивается более глобальное исследование:) Постараюсь сделать хоть набросок в этом году.
Можете обращаться ко мне за консультациями (edvb()yandex.ru) по применению данного метода, экспериментируйте сами.

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.
На этом все, читайте нас в фейсбуке