Share |

суббота, 29 июля 2017 г.

Тренируем нейронную сеть для прогноза эффективности работников

На моем семинаре по аналитике есть задачка в 87 строк, где выходная переменная - эффективность работника (категориальная переменная их трех классов: 1 - звезда, 2 - середняк, 3 - лузер), а факторы - несколько шкал теста CPI (калифорнийский чего-то там) и пол. Все.
Данных мало, зато данные реальные реальной компании. Надеюсь, что этот датасет будет "ирисами" HR-аналитики.
Эту задачу я уже решал с помощью логистической регрессии, деревьев решений, случайными лесами, градиентным бустингом. Сегодня покажу код в Python, как настраивать нейронную сеть для этой задачи. На самом деле есть несколько подходов к созданию нейронной сети, отдельно можно пользоваться библиотекой Microsoft, можно было добавлять скрытые слои, можно было тренировать больше параметров, все можно было сделать. Я преследую цель показать просто шаблон, как можно тренировать модель использую sklearn обертку - в этом варианте есть одно очень важное преимущество - простота в тренировке параметров сетки.
Итак
Загружаем пакеты
import numpy
import pandas
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasClassifier
from keras.utils import np_utils
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import KFold
from sklearn.preprocessing import LabelEncoder
from sklearn.pipeline import Pipeline
from sklearn import model_selection, preprocessing, metrics
from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV, ShuffleSplit
from sklearn.metrics import confusion_matrix
Закладываем воспроизводимость
seed = 7
numpy.random.seed(seed)

Загружаем данные (здесь уже простите, участники семинара сами могут достать этот датасет)
разбиваем на X, Y
dataset = df.values
X = dataset[:,0:7].astype(float)
Y = dataset[:,7]
Далее Y мы из формата (1,2, 3) превращаем в матрицу фиктивных переменных
encoder = LabelEncoder()
encoder.fit(Y)
encoded_Y = encoder.transform(Y)
# convert integers to dummy variables (i.e. one hot encoded)
dummy_y = np_utils.to_categorical(encoded_Y)

Собственно модель

# baseline model
def baseline_model():
    # create model
    model = Sequential()
    model.add(Dense(6, input_dim=7, kernel_initializer='normal', activation='relu'))
    model.add(Dense(3, kernel_initializer='normal', activation='sigmoid'))
    # Compile model
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    return model
Здесь model.add обозначает слой нейронной сети, input_dim - размерность входных данных (у нас 7 переменных: 6 шкал теста + пол), во втором слое model.add тройка обозначает размерность выходной переменной (у нас три возможных класса работников - звезды, середняки и лузеры).
Про остальные параметры рекомендую читать в специальной литературе. Далее разбиваем данные на трейн и тест сет
X_train,  X_test, y_train, y_test = model_selection.train_test_split(X, Y, test_size = 0.3,random_state = 12)
Задаем модель, кросс валидацию и параметры, которые требуется натренировать
# create model
model = KerasClassifier(build_fn=baseline_model, verbose=0)
cv = KFold(n_splits=3, shuffle=True, random_state=1)
# grid search epochs, batch size
epochs = [ 150, 170, 200, 250, 300, 350]
batches = [ 5, 10, 20, 25, 30]
param_grid = dict(epochs=epochs, batch_size=batches)
grid = GridSearchCV(estimator=model, param_grid=param_grid, cv = cv)
Эпохи в нейронной сети соответствуют n_estimators в бустинге или случайном лесе. Батчи - это размер выборки, на которой происходит обучение. Далее закладываем в сетку (grid) и обучаем.
%%time
grid_result = grid.fit(X_train, y_train)
({'batch_size': 5, 'epochs': 300}, 0.73333334922790527)
На тестовом сете точность почти один в один, хотя при датасете в 87 строк мы ни на что не можем надеяться)
confusion_matrix(y_test, grid_result.predict(X_test))
array([[ 9,  2,  0],
       [ 1, 11,  0],
       [ 1,  3,  0]])

В качестве визуализации confusion_matrix

Тренируем нейронную сеть для прогноза эффективности работников
В строках реальные значения, 1 - звезда, 2 - середняк, 3 - лузер, в колонках прогнозные значения. Заметно, что нейронная сеть не увидела лузеров.
Не вспомню уже ссылки на предыдущие решения этого кейса, но precision и recall для нейронной сети для звезд вполне сопоставимы для алгоритмов случайного леса и бустинга.
Но интересная штука: многослойный персептрон дает прогноз хуже, чем тот, что я использовал в примере. Дело даже не в хужести, а в том, что алгоритм все прогнозные значения загоняет в один класс, в нашем случае это класс середняков - он самый большой. Т.е. многослойный персептрон все прогнозные значения к одному классу причисляет. Если есть кто в теме, подскажите, что это за эффект?
И сравнил эти данные с данными библиотеки Microsoft CNTK - не увидел различий (причем, я говорю не о датасете в 87 строк, а проверил также на другой HR задачке в 1500 строк).

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег.

пятница, 28 июля 2017 г.

Вовлечение персонала через e-mail рассылки: A/B тест

Несколько раз обращался к коллегам с предложением сделать такую штуку в компании, но я, видимо, не убедителен в убеждении. Тем не менее, A/B анализ крайне простой метод анализа, но эффективность его от этого не падает. И им не чураются пользоваться даже такие чуваки, как, например, Барак Обама во время президентской гонки - см. A/B тест: технология, которая меняет правила бизнеса/

Суть A/B теста

Вовлечение персонала через e-mail рассылки: A/B тест

Многие HR сталкивались с тем, что отдача от корпоративной рассылки ничтожна. Неважно, просите ли вы через рассылку поучаствовать в корпоративном исследовании или конкурсе, прислать свои предложения по каким то корпоративным проектам.
При этом, когда анализируют результаты рассылки, думают едва ли не в первую очередь о том, что можно было бы дать другое название рассылки, можно было бы изменить текст самого письма и т.п... Анализ чаще всего на обсуждении и заканчивается. Спорщики разбегаются каждый при своем мнении, хотя можно было бы проверить мнения математически.
К примеру, у вас два разных мнения, как правильно назвать рассылку. Тогда вы разбираете случайным образом ваших подписчиков на две равные группы, и каждой группе высылаете рассылку со своим названием.
Потом считаете, например,

  1. количество открытых писем каждой группой
  2. количество выполненных действий (например, сколько с каждой рассылки прошли корпоративное исследование)

И выявляете победителя, какое название дало лучший результат для вас (с помощью статистического критерия, конечно, а не просто, кто больше).
Просто? Вы помните подобные кейсы в HR? Этот же подход можно использовать при рассылке писем кандидатам, чтобы посчитать конверсию. Ну и т.д., что ваша буйная фантазия нафантазирует. Хотите у себя в компании внедрить? читайте мой кейс ниже и пишите edvb()yandex.ru. Хотите сами научиться делать такое, вам сюда Семинар - практикум "Аналитика для HR", 19-20 октября 2017 г., г Москва

Конкретный кейc

Поскольку компании мне не дают свои данные, я сделал кейс на основе данных рассылки сайта HRM. Сразу предупреждаю, что я буду делать новые эксперименты, и этот пост - только начало кейса, я хочу сделать несколько крутых вещей.

Имя отправителя

Первым шагом в своих исследованиях я решил поиграться с именем и адресом отправителя. Если Вы получаете рассылку. Всего я выпустил на этой неделе три рассылки - 25, 26, 27 июля, каждая из которых была разбита на две части. Части были равными = 50 / 50 (формируются они случайным образом - это важное условие). И разница между была только в имени отправителя и адресе отправителя. Для одной части имя отправителя и е майл звучали как HRM и hrm@hrm.ru, для другой части Бабушкин Эдуард и edvb@hrm.ru.
Мои большие "поклонники", рекомендую вам обвинения в самолюбовании оставить при себе, есть гипотеза о том, что личная рассылка более эффективна. Давайте проверим.

Выпуск 25 июля

Выпуск назывался Профстандарты, зарплатные ожидания, тренды HR, чем опасны тренинги, почему руководителя не увольняют за грубость. Статистика такая.

Таблица №1 

Доставлено
Открыто
Переходов
Отписалось
HRM
5043
306
67
4
Бабушкин Эдуард
5029
544
141
28
Всего
10072
847
210
32

В первой колонке - имя отправителя. Заметно, что открывали чаще письма с отправителем Бабушкин Эдуард, переходили также. И ложка дегтя - отписывались значительно чаще. Давайте спросим эксперта Хиквадратыча, что он нам скажет, можно ли эти различия считать значимыми
Разница в открытии письма = P value 4.361e-15 говорит нам Хиквадратыч. Т.е. зашибись: доля открытых писем у Бабушкина (544 / 5029) значимо выше, чем долу у HRM (306 / 5043). 
Та же самая мера оценки разницы для доли переходов дает значимость 4.939e-07. Хуже, чем у открытий писем, но ок.
И для доли числа отписавшихся оракул Хиквадратыч выдал 4.768e-05.

Вопрос № 1

А может это и не прибавка вовсе? Чтобы говорить о прибавке, надо сравнить с прошлыми выпусками.  И если Бабушкин даст прибавку в сравнении с прошлыми выпусками, то прибавка точно есть.
Даю статистику по 5 последним выпускам до эксперимента

Таблица №2

Доставлено
Открыто
Переходов
Отписалось
KPI для рекрутера, важна ли стоимость закрытия вакансии, VR в обучении
10 038
615
152
8
14 примеров HR-метрик
10 039
726
151
13
HR-боты и Tinder в рекрутинге, образование в будущем, профессии в России уже сейчас
10 032
684
156
14
Пора стать цифровыми, диджитал, геолокация работников, индустрия 4.0, мы все таланты и лучшие ВУЗы по ЗП
9 983
633
105
9
Почему нас нет в Мировом рейтинге, новые способы рекрутинга, лучшие ВУЗы по ЗП выпускников
9 995
615
92
7
СРЕДНЕЕ
10 017
655
131
10
Среднее/ 2
5008.7
327.3
65.6
5.1

Здесь вам должно быть все понятно: в первой колонке название рассылки, далее все тоже самое, что и в предыдущей таблице.
Последняя строка нужна для того, чтобы вы сравнили данные первой таблицы и второй. Согласитесь, просто визуальный анализ подсказывает, что параметры второй таблицы практически идентичны данным из первой таблицы, соответствующим имени отправителя HRM.
Тем не менее, наш эксперт Хиквадратыч говорит нам, что P-value для долей открытых писем равно 2.2e-16, что нам не может не нравиться, тот же самый показатель для долей переходов 1.687e-10. Соотношение чуть хуже, что наводит на банальную гипотезу ожидали от Бабушкина что то новенькое, а там все тоже унылое говно, поэтому письмо открыли, а по ссылкам не пошли, что название письма сильнее связано с долей открытий, чем с долей переходов. Хиквадрат в данном случае нельзя брать как меру связи, но любители докапываться до истины могут измерить размер эффекта и убедятся, что, например, V Cramer-а для доли открытых писем тоже повыше будет. 
Ок, мы установили, что Бабушкин дает прибавку в сравнении с HRM, но возникает

Вопрос №2 

А может это лишь эффект новизны сработал? Помните Хоторнский эксперимент?
Поэтому я дал еще две подряд рассылки с разбиением на группы Бабушкин и HRM. Если гипотеза про Хоторнский эксперимент верна, то мы должны ожидать сглаживания различий в открытии писем. Причем, вероятность того, что в третьей подряд рассылке получатель впервые получит письмо от Бабушкина, равна 12, 5 % (вероятность первой рассылки 50 %, второй уже 25 %, и далее по убывающей). Т.е. доля людей, кто увидит впервые Бабушкина в третьей рассылке чуть больше каждого десятого. 

Рассылка 26 июля

Выпуск назывался 21 Метрика эффективности сотрудников.
Таблица №3
Доставлено
Открыто
Переходов
Отписалось
HRM
5038
346
72
6
Бабушкин Эдуард
5046
521
105
17
10084
867
177
23
Сразу к показателям. Хи квадрат для открытия писем p-value = 1.641e-08 (и уже заметно, как провалился показатель). Для переходов - p-value = 0.01766, ваще жесть, и мы можем быть даже не уверены в том, что значимые различия есть. И только отписки немного радуют: p-value = 0.03766. Хотя чё уж тут радоваться....
И контрольный выстрел

Рассылка 27 июля

Выпуск назывался Можно ли отказать кандидату на том основании, что он гей. Заметили, что я давал максимально разные названия рассылкам?
Доставлено
Открыто
Переходов
Отписалось
HRM
5009
312
74
2
Бабушкин Эдуард
5032
537
130
20
10040
775
204
20
Хи квадрат для открытия p-value = 2.537e-13 (для рассылки 25 июля - 4.361e-15). Показатель Крамера 0.07011567, тот же показатель для рассылки 25 июля 0.07505708. 
Хи квадрат для переходов p-value = 3.09e-05 (25 июля - 4.939e-07). В Крамера - 0.04113424 (25 июля - 0.04959725). 
И отписки дали Хи квадрат p-value = 0.0003021 (25 июля - 4.768e-05). 

Резюме

  1. A/B test несмотря на крайне простой математический аппарат не является простым в обращении, мы получили результаты, которые нельзя трактовать однозначно
  2. Выросло значимо число открытий писем, но выросло число отписок (в корпоративной потовой системе вам это слав бох не грозит);
  3. Разница в доле открытых писем снижается после нескольких рассылок, но эта динамика не носит резкий падающий характер, не носит линейный падающий характер (26 июля значения упали резко, но 27 различия опять выросли, хотя и не до уровня 25 июля). 
  4. В любом случае, мы можем сделать вывод, если мы хотим в краткосрочной перспективе вовлечь персонал в какой то проект, мы можем изменить имя отправителя рассылки. 
  5. В дальнейшем я продолжу эксперименты с рассылкой, буду изменять также название рассылки и текст письма. 
  6. Обращаю ваше внимание, что вам, внутренним HR, если вы хотите работать с этим инструментом, открывается просто несколько вкусных полянок, где вы можете собирать грибочки A/B test-а: внутренние коммуникации, подбор персонала, дистанционное и очное обучение. Ну и так далее.... 
Желаю вам приобщаться к A/B test. Хотел бы а) услышать ваши соображения по поводу полученных результатов и б) увидеть ваши кейсы. 

Понравился пост? 

и Вы захотите выразить мне благодарность, просто покликайте на директ рекламу ниже на странице - у вас это отнимет несколько секунд, а мне принесет немного денег. 
На этом все, читайте нас в фейсбуке 

Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире?

Перевод статьи Do Competency Frameworks Work in Real-World Organisations? в рамках нашего проекта переводы статей по hr-аналитике на английском. Перевод выполнила Галина Мешкова, эксперт в оценке, отборе, развитии и обучении (по ссылке профиль Галины на фейсбуке).
Статья не просто важная, она базовая - с нее многие должны начинать у себя HR-аналитику в компании. Проблема банальна, хотя эту проблему создатели моделей компетенций, специалисты по ассессмент центру просто не замечают: мы вкладываем кучу сил в создание моделей компетенций, в проведение ассессмент центров, тратим время кандидатов и работников, но последний и едва ли не самый важный момент - проверка того, насколько созданная модель "бьется" с реальными бизнес результатами оцениваемых - мы "забываем".
Действительно, если посмотреть дискуссии специалистов по компетенциям, то обнаружим, что они много спорят о типах моделей, какие компетенции включать, какие развенчать и т.п.. Но до сих пор в России не ни одного представленного реального кейса о связи компетенций с эффективностью. Наши спецы по компетенциям предпочитают пользоваться результатами мета анализа Еще раз про миф в оценке персонала, при этом данный мета анализ совсем не гарантирует аналогичных результатов конкретно для Вашей компании.
В моей практике наиболее крупный кейс был, когда я работал в Сбербанке и смотрел связь между результатами ассессмент центра от компании Экопси и эффективностью руководителей, измеряемой по KPI. Результаты данного анализа не согласуются ни с мета анализом, ни с выводами данной статьи. Для меня выводы данной статьи представляются спорными, но, тем не менее, главная задача - побудить наше hr сообщество выполнять подобный анализ. Статья ниже - прекрасный пример такого анализа.
Простите за подобное долгое вступление, итак,

Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире? 

Введение

“Работают ли на самом деле модели компетенций в организациях в реальном мире?
Этот вопрос про модели компетенций, психометрические тесты и опросы 360 градусов и т.п. регулярно возникает в различных формах, в группах, посвященных аналитике на LinkedIn, и порождает многочисленные споры. Я хотел бы обсудить это здесь в контексте фразы «реальный мир», используя метод кейс-стади (разбора ситуаций).
Термин «реальный мир» отражает восприятие многих старших и операционных (operational) менеджеров, в котором модели компетенций и психометрические тесты могут быть не столь эффективны, как в контролируемых академических условиях, в которых они изначально создавались и развивались. Могут ли быть правдивыми их сомнения?

Аналитики и люди бизнеса определяют термин «эффективный» по-разному

Для того чтобы ответить на этот вопрос, нам необходимо более глубоко изучить значение термина «эффективный» в этом контексте. Не принимая во внимание, полностью академических экспертов, аналитики обычно считают модель «эффективной», если она обладает высокой валидностью и точно измеряет то, что она призвана измерять, ту или иную компетенцию, способность или личность. Теперь сопоставьте это с операционными менеджерами, для которых термин «эффективный» обычно относится к предсказательной (или согласованной) валидности измерений, то есть, распространяется на те инвестиции организации в модели, которые предсказывают желаемое поведение сотрудников, такое как результативность, удержание и, в конечном счете, принесение прибыли.
Вот в чем трудность: только потому, что модель точно измеряет обобщенный образ значений для измерения (например, компетенцию или способность), этот образ действительности не является инструментарием, предсказывающим важные выводы относительно сотрудника. Таким образом, нет необходимости создавать метрики, которые могут быть использованы как полезные вводные для создания программ по развитию талантов, особенно, с целью достижения наилучших показателей деятельности и удержания высокопотенциальных сотрудников.

Как установить обоснованность/годность модели? 

Как вы устанавливаете обоснованность/годность модели компетенций или опроса 360 градусов и т.п.?

  1. Первым делом вы проверяете согласованную валидность на репрезентативной   выборке ваших сотрудников, для того чтобы определить, какие из компетенций коррелируют с желаемым поведением сотрудников в «реальном мире», в вашей организации (в отличие от поставщика, требующего протестировать их).
  2. После этого вы усовершенствуете модель, основываясь на выводах, которые вы сделали, изучив корреляции. 
  3. Если потенциальная стоимость ошибки провала модели достаточно высока, вы применяете методологию, чтобы проверить причинную связь/ прогностическую валидность (causality/predictive validity).


Кейс-стади

Печально, что мало организаций проводят такое тестирование перед получением (procuring) моделей, что может привести к неутешительным результатам. Иллюстрацией этого является недавнее исследование данных о чертах и развиваемых компетенциях 250 менеджеров, занимающих одинаковые должности в крупной международной компании (голубая фишка) и их результатами на работе. (Fig 1).


Работают ли на самом деле модели компетенций (competency frameworks) в организациях в реальном мире?
Мы смоделировали их как (перевод и расшифровка модели в тексте ниже):
  • Психометрические данные: Фиксированные характеристики, трудноизменяемые со временем и, таким образом, потенциально полезные для отбора, если они коррелируют с производительностью. 
  • Компетенции: Поддающиеся развитию поведенческие характеристики, которые оцениваются моделью компетенций компании, опрос 360 градусов и программы развития ассессоров. Полезны для развития высокой производительности. 
  • Результативность сотрудников: Нам повезло, потому что удалось заполучить данные о финансовых результатах каждого менеджера, что обозначает, что эти шкалы достаточно объективны. В конечном счете, причина вкладывать в психометрики и компетенции для отбора и развития - достичь высокой производительности.
Мы открыли следующие взаимосвязи в данных: 
  • Результаты психометрик и компетенций: как было показано, только 47% результатов психометрических тестов коррелирует с развиваемыми компетенциями. Размер эффекта был мал, обычно менее чем 0.20 значения, поэтому они не могли бы быть полезными для отбора на вакансии кандидатов, демонстрирующих компетенции ценные для организации. Один психометрический тест, однако, дал сильную корреляцию с детальностью, к сожалению, эта корреляция была негативной, чем выше баллы кандидата на вакансию, тем ниже их баллы при оценке компетенций, вряд ли это то, что планировала компания, покупая этот тест. 
  • Результаты психометрик и производительность сотрудников: Только 7% результатов психометрических тестов коррелирует с деятельностью сотрудников и опять же размер эффекта мал, обычно менее  0.20 – психометрические тесты - не являются полезными для отбора. Опять же, один тест показал негативную корреляцию с деятельностью - это значит, если бы высокие баллы теста использовались для отбора кандидатов, это было бы, чем то вроде, отбора неуспешных сотрудников.
  • Компетенции и производительность сотрудников: только 12% результатов оценки развиваемых компетенций коррелируют с производительностью и, опять, размер эффекта крайне мал, что означает, что инвестировать в эти компетенции, как драйверы программ развития не стоит. И еще одно, некоторые из этих компетенций имели негативную корреляцию с производительностью, что означает, что развитие их может, именно, снижать результативность сотрудников. 

Заключение 

Таким образом. Возвращаясь к первоначальному вопросу: Работают ли модели компетенций и психометрические тесты на самом деле в организациях в реальном мире? Едва ли можно винить менеджеров из приведенной выше компании в скептицизме. Такое развитие событий не является необычным, и результаты являются типичными в ходе аудита эффективности инвестиций компании в модели компетенций и другие измерения результативности сотрудников.
Но должно ли быть так? Я верю, что ответ на этот вопрос «нет», и что модели могут не только работать, но и значимо улучшать результативность в «реальном мире».
Все что необходимо - это проводить предварительный анализ полученных данных, которые я обозначил выше, поскольку, необходимо определить была ли результативность измерена подобающим образом, также как и то, какие шкалы полезны и неполезны (таким образом, слабые шкалы могут быть удалены и, если необходимо, заменены местами с более высокой предсказательной волосностью/коррелирующими). Обычно, мы видим улучшение результативности сотрудников от 20 до 40% при простом следовании этому процессу.
Таким образом, ответ на изначальный вопрос, в конечном счете, «да»- модели компетенции сотрудников могут работать, предоставляя эту систематическую точность, используемую для отбора инструментов для употребления «реальном мире».

Как получить ценность от моделей компетенций и психометрических тестов?

  1. Модели не могут предсказать высокую результативность, если вы не знаете что такое «хорошо». Первый шаг при получении моделей - это убедится, что есть ясное определение «высокой производительности» и измеримо в зависимости от вашей роли. И если вы хотите апеллировать к вашим клиентам - операционным менеджерам - используйте операционные показатели результативности.
  2. Прежде чем инвестировать в модель, которая потенциально может повлечь негативный  эффект на производительность сотрудников, убедитесь, что у вас есть независимая объективная оценка аналитической компании каждой согласованной шкалы и/ или предсказательной возможности относительно популяции сотрудников схожей вашей. Если провайдер, которого вы рассматриваете для сотрудничества, не может предоставить независимые данные, просите скидку или получите совет эксперта, перед тем как закупать что-либо.
  3. Если численность ваших сотрудников более или около 250 человек, вам обязательно необходимо получить оценку эксперта, для того чтобы убедиться, что предлагаемая модель действительно коррелирует или предсказывает результативность в вашей организации до закупки.
  4. Если вам необходима профессиональная помощь в интерпретации количественных данных, предоставленных провайдером, получите ее от независимого аналитика, а не от человека, работающего на провайдера, пытающегося продать вам модель.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме

Компания Висконсина предлагает имплантировать микрочипы дистанционного управления своим сотрудникам

Перевод статьи A Wisconsin company offers to implant remote-control microchips in its employees в рамках нашего проекта переводы статей по hr-аналитике на английском. Еще лет пять назад мы бы содрогнулись, а сейчас внутренне уже готовы к появлению таких заголовков, согласны? или я ошибаюсь?
Перевод выполнила Анна Федорова, руководитель одного из hr-направлений крупной телекоммуникационной компании (по ссылке профиль в фейсбуке). Сам пока слабо знаю Анну, обязуюсь представить ее полнее для читателей. Скажу Вам только по секрету, что уже по одному взаимодействию в рамках переводов можно неплохо оценить специалиста. И если в блоге появляется перевод от спеца, значит он действительно спец своего дела.
Итак,

Компания Висконсина предлагает имплантировать микрочипы дистанционного управления своим сотрудникам

Компания Висконсина предлагает имплантировать микрочипы дистанционного управления своим сотрудникам
К фотографии: Как он сам себя называет, «хакер тел» Jowan Osterlund из Biohax Sweden, держит микрочип, подобный тем, которые были имплантированы работникам цифрового инновационного бизнес-центра Epicenter 14 марта. (James Brooks/AP)
Стали бы вы просить работника имплантировать микрочип в его руку? Звучит агрессивно и тревожно. Н0 1 августа одна компания из Висконсина будет пытаться это сделать.
Three Square Market – разработчик программного обеспечения, используемого в торговых автоматах – предлагает всем своим сотрудникам внедрить микрочип между большим и указательным пальцами. Это быстро, безболезненно и компания даже будет брать плату в размере 300$. И не беспокойтесь – это не GPS слежение…пока еще.
Компания ожидает, что 50 ее работников добровольно подпишутся на имплантацию.
RFID (радиочастотные ID) чипы позволили бы тем работникам, кто станет волонтерами в этой программе, открывать двери, оплачивать покупки, делиться визитными карточками, хранить медицинскую информацию, оплачивать материал на других RFID терминалах и «логиниться» к своим компьютерам…все с помощью волн руки.
 «В конечном счете, эта технология станет стандартизирована, позволяя вам использовать это как свой паспорт, в общественном транспорте, все покупательские возможности и т.п.», пишет исполнительный директор Todd Westby в своем блоге, анонсируя программу, утверждая, что это будет впервые в своем роде в США.

Программа также направлена на то, чтобы стать реальной возможностью для компании Westby протестировать и расширить технологию для собственных продуктов. «Мы рассматриваем это как еще один вариант оплаты и иидентификации, который может быть использован не только в наших магазинах, но и в других приложениях самообслуживания, которые мы сейчас разрабатываем, включая мини-маркеты и фитнес-центры», говорит другой руководитель компании.
Three Square Market утверждает, что она будет первая компания в США, которая имплантирует чипы своим сотрудникам.

Шведская организация под названием Epicenter начала делать то же самое ранее в этом году и кажется, что ее сотрудникам это нравится. «Люди спрашивают меня «Вы «чипированы»?» и я отвечаю «Да, почему бы и нет», рассказал один из сотрудников компании Epicenter в апреле CNBC report. «И всех их волнуют вопросы конфиценциальности, и что это означает, и так далее. Но для меня это просто вопрос того, что мне нравится пробовать новые вещи, и просто рассматривать его как нечто большее, и что это принесло бы в будущее».
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме

четверг, 27 июля 2017 г.

Исследования вовлеченности персонала: часть 1, проблемы традиционного подхода

Перевод статьи Engagement surveys - Part 1, issues with the traditional approach в рамках нашего проекта переводы статей по hr-аналитике на английском. Автор - Эндрю Марритт, стыд Вам, если Вы не знаете еще этого имени.
Перевела Екатерина Малинина, если Вы ее не знаете, то Вам тоже стыд. Этот перед уже пятый (!!!) перевод Екатерины. HR business partner в IT-отрасли. Эксперт в оценке, обучении, развитии талантов. Помогает менеджерам строить эффективные и надежные команды, способные переложить в программный код любую задачу бизнеса. Профили Екатерины в фейсбуке и в Линкедине. Как минимум, я бы зафрендился на вашем месте. Другие переводы Екатерины:


Итак, новая статья от Энрю Маррит
Исследования вовлеченности персонала: часть 1, проблемы традиционного подхода



Исследования вовлеченности персонала: часть 1, проблемы традиционного подхода

Ниже вы познакомитесь с первой из двух статей, посвященных исследованию вовлеченности персонала. В этой части я расскажу о некоторых проблемах в этой области. На следующей неделе мы обсудим, как реагирует рынок на эти проблемы.
В этой серии статей я использую термин «исследование» в двух значениях: как исследование с выборкой и как опрос.
В данный момент мы наблюдаем переход от длинных редких исследований вовлеченности персонала к коротким, «импульсивным» опросам, использующимся или вместо, или в дополнение к длинным исследованиям. В этой и в следующей статье мы обсудим причины и преимущества такого подхода. Как всегда, я постараюсь рассказывать с точки зрения анализа данных.

Немного истории

Организации проводят опросы персонала уже около 100 лет, с недавних пор – с помощью HR-подразделений, а ранее – силами операционных исследовательских групп. В 1970-ых основное внимание уделялось лояльности компании и удовлетворенности работой, и фокус сместился с организационных на человеческие ресурсы. В ранней работе Katz (1964) по теме гражданского организационного поведения говорил о понятии «лояльности организации».
Понятие вовлеченности впервые было описано William Kahn в 1990 году, однако стало популярным благодаря изданию Gallup в 1999 году книги «Сперва нарушь все правила». С тех пор большинство компаний проводят разного рода исследования вовлеченности сотрудников.
Примерно в эти же времена изменилась технология проведения опросов. До 1990-ых гг. опросы оставались преимущественно на бумаге. Когда интернет-технологии начали проникать в пространство исследований персонала, мы поняли, что электронные опросы могут полностью воспроизвести традиционные бумажные опросы. Это действительно было так, и некоторые компании даже поначалу проводили параллельно исследования в обоих форматах. До сих пор можно встретить бумажные опросники в некоторых сферах, например, для водителей-курьеров.

Об опросниках

Суть всех опросников вовлеченности одна: с помощью ряда вопросов определить индекс вовлеченности. Обычно для этого требуется около 5 вопросов. Потом используется большое количество вопросов для определения параметров, связанных с вовлеченностью. В большинстве ежегодных исследований порядка 60-150 вопросов. По моим оценкам, сотрудник тратит порядка 20-30 секунд, чтобы ответить на каждый вопрос.
Данные опроса используются для определения демографических параметров участника. Можно подкрепить данные, которые предоставляет о себе респондент, данными, полученными из HR-системы компании. Такой метод наиболее эффективен для получения качественных данных, однако в некоторых компаниях есть ограничения, связанные с конфиденциальностью личной информации сотрудников.
Теоретически можно исследовать огромное количество факторов, связанных с вовлеченностью. Как отмечает Kieron Shaw в работе «Вовлеченность персонала: как сделать сотрудников высокоэффективными»:
«Пожалуй, нецелесообразно напрямую оценивать в опроснике все действия, стоящие за вовлеченностью» в связи с тем, что «можно определить тысячи различных действий человека, склонностей и процессов, которые сказываются на вовлеченности».
Следовательно, из длинного опросника разработчик исследования должен выбрать набор потенциально значимых факторов.

Критика традиционных опросников

В интереснейшей статье «Оценка вовлеченности персонала: с пьедестала – в копилку инструментов» Andrew Graham из Университета Куинс в Кингстоне выделяет 9 недостатков традиционных опросов:

  1. Недостаточно частые
  2. Наличие заранее определенных вариантов ответов искажает действительность
  3. Агрегирование результатов уменьшает количество истинных значений
  4. Не отражают специфику (контекст редко учитывается)
  5. Длинные или плохо спроектированные варианты ответов  
  6. Менеджеры заняты и не мотивированы предпринимать какие-либо действия по результатам опроса
  7. Требуется большое количество ресурсов и наблюдений
  8. Опросы устаревают
  9. Не ясна причинно-следственная связь

10ый недостаток, который мы обнаруживаем как аналитики, состоит в том, что опросы дают иллюзию полноты исследования. Многие компании думают, что, задавая 80 вопросов, они покрывают 80 самостоятельных аспектов работы сотрудников. Очевидно, что это не так.


Проблемы опросных данных

Чаще всего данные опроса анализируют с помощью построения графиков корреляций (точечных диаграмм). Для этого каждый вопрос исследования принимают за одну из переменных графика, на графике они выглядят как области точек, а корреляция между вопросами – граница этих областей. Если таким образом визуализировать данные, то, скорее всего, мы получим что-то вроде этого:
(Примечание перевочика. К сожалению, в оригинале статьи отсутствует график)
То, что мы видим, похоже на клубок. Каждый вопрос стремится коррелировать с другим вопросом. (На графике выше вопросы 31-33 касаются процессов работы, что, как мы знаем, слабо связано с вовлеченностью персонала.)
Мы провели эксперимент, в котором «уничтожили» 80% всех ответов в произвольном порядке и после этого использовали рекомендательный алгоритм, чтобы восстановить пропавшие данные. В большинстве случаев нам удалось точно восстановить те данные, которые были утрачены. Ответы людей соответствуют определенным шаблонам (отсюда и клубок), поэтому если вы знаете часть ответов, вам удастся весьма точно вычислить остальные (это значит, вероятно, что вы можете произвольно задавать разным людям разные вопросы, значительно сократив опросник и не потеряв в точности).

Проблемы интерфейса опросников

Это в некотором роде спорная тема. Она касается того, как задаются вопросы.
Большинство опросов используют шкалу Лайкерта, преимущественно 5ти-балльную, где есть варианты от «полностью согласен» до «полностью не согласен». Одна из причин ее популярности в том, что бумажные опросы, заполненные таким образом, удобнее обрабатывать (легко увидеть галочку в ячейке). Позже разработанный для бумаги процесс переложили в электронный формат, немного доработав вопросы так, чтобы получить преимущества, предоставляемые новым средством сбора и обработки ответов.
При заполнении опроса сотрудники воспринимают шкалу как непрерывное пространство между двумя конечными точками. Когда вы просите их ответить по 5-ти или 7-ми балльной шкале, фактически вы просите поместить их ощущения в наиболее подходящую компромиссную точку. Такие действия вводят участника опроса в определенные рамки, что в результате приведет к искажению данных. Данные не могут быть представлены линейно, вместо этого аналитик должен использовать методы статистического анализа, подходящие для порядковых данных.
В статье 2012 года журнала Полевые методы «Почему семантические дифференциалы в электронных исследованиях должны быть основаны на визуальной аналоговой шкале, а не на 5ти балльной шкале» Funke и Reips демонстрируют экспериментальные подтверждения того, что проставление отметки между двумя точками (визуальная аналоговая шкала) имеет гораздо больше преимуществ, чем традиционная 5ти балльная шкала с четко обозначенными значениями баллов. Первый вариант даёт более качественные (точные) данные и меньше влияет на участника опроса.
Сложно выбрать, что предпочтительнее использовать – визуальную аналоговую шкалу или шкалу с большим, но определенным числом делений (шкалу 0-10, используемую для оценки индекса потребительской лояльности NPS?). Тем не менее, я придерживаюсь мнения, что 5ти балльная шкала – правильный вариант.

Стоит ли вообще задавать вопросы со шкалой оценки?

Наконец, что заставляет нас предпринимать конкретные действия на основе данных исследования – это ответы на ряд открытых вопросов. Как замечает Graham в своем четвертом издании, данные опроса редко дают контекст. Однако природа открытых вопросов дает такую возможность.
По этой причине опросы часто делают не количественными, а качественными и фокусируют на нескольких ключевых темах. Такие исследования требуют много времени и весьма дороги. (Разумеется, действовать без понимания контекста может оказаться значительно дороже.)
В ряде случаев количественные вопросы с использованием шкалы наиболее предпочтительны, особенно если требуется выявить тренды. Однако довольно широкие, открытые вопросы могут предоставить богатые данные. Сложность для многих компаний в том, чтобы получить эти данные с помощью шкалы.
Если поразмышлять о том, как в процессе разговора мы пытаемся разобраться в каком-то предмете, то получится такая картина: мы задаем открытый вопрос и затем подходящие, уточняющие вопросы. Я твердо верю в то, что за этим будущее сбора обратной связи сотрудников, причем этот подход будет реализовываться в формате диалога с чат-ботом с возможностью применения множества языков и шкалирования.
С точки зрения возможностей, мы еще далеки от этого, но будущее наступает очень быстро. В следующей статье я опишу текущее положение, наши находки в работе с клиентами на «передовой» опроса сотрудников и расскажу о нескольких подходах, предпринятых наиболее инновационными компаниями нашего рынка.

Об авторе

Andrew – один из пионеров кадровой аналитики в Европе. Он основатель OrganizationView, создатель инструмента для получения обратной связи от сотрудников с помощью открытых вопросов Workometry и сооснователь сообщества Кадровой аналитики Швейцарии
Andrew возглавлял первую конференцию в области европейской кадровой аналитики – HR Tech World’s 2013 ‘Big Data’ и был сопредседателем конференции Tucana’s ‘People Analytics’ в 2014, 2015 и 2016 гг. Он преподает HR-аналитику и «управляемый данными HR» в Европе и Азии и является членом консультативной группы по аналитике в области человеческого капитала CIPD, провозглашая стандарты и стратегию в HR-аналитике.
__________________________________________________________
На этом все, читайте нас в фейсбуке и телеграмме

рек

Популярные сообщения