Share |

четверг, 2 января 2014 г.

Можно ли по результатам ЕГЭ предсказать учебную успеваемость студента?

Пост для размышления. Надеюсь, будет интересен всем, кому интересна тема ЕГЭ и HR-аналитики.
Мне видится два аспекта данного поста:
1) ЕГЭ обсуждается в каких-угодно дискурсах кроме дискурса собственно аналитики. Хотя чего проще: посчитайте, есть ли взаимосвязь между результатами ЕГЭ и успеваемостью студентов после первого семестра, первого курса. Абсолютно ничего сложного, а наоборот, очень простая идея определения того, что ЕГЭ эффективен: если позволяет предсказывать успешность, значит эффективен
2) Данный кейс может стимулировать HR на поиск аналогичных решений у себя в компании, подтолкнуть к размышлениям.

Собственно кейс

В ВШЭ провели исследование Оценки ЕГЭ как индикатор последующих академических успехов студентов международной программы по экономике
Полное описание исследований можно прочитать по ссылке, я же дам несколько цитат
  • В 2009-2011 годах набор студентов на программу бакалавриата МИЭФ проводился в основном по оценкам ЕГЭ. Профильными для МИЭФ являлись оценки ЕГЭ по математике, иностранному языку (английскому), русскому языку. 
  • По каждому предмету в МИЭФ также выставляются оценки за год по 100-балльной шкале, агрегирующие все текущие, промежуточные и финальные оценки. Мы рассматриваем итоговые оценки по четырем предметам, по которым сдаются экзамены АРТ, формирующиеся как в зависимости от начального уровня знаний студентов, так и от их усилий в течение учебного года. Для конечного результата имеют значение способности студентов, их мотивированность, социальные условия, здоровье и другие факторы. 
  • Были построены и исследованы регрессионные зависимости оценок студентов по итогам 2009-2010 и 2010-2011 учебных годов от оценок ЕГЭ и от показателей их текущих успехов в течение года по другим предметам, используемым как замещающие переменные. В результате оказались статистически значимыми (в каждом случае свои) как результаты оценок ЕГЭ, так и показатели эффективности учебных усилий студентов в МИЭФ. В целом зависимости объясняют достаточно большую часть дисперсии зависимой переменной (показатель R2 порядка 0,7 – 0,75). Результаты оценивания таковы. Оценка ЕГЭ по математике оказалась значимой (и единственной значимой из оценок ЕГЭ) для оценки МИЭФ по математическому анализу. Оценка ЕГЭ по русскому языку оказалась значимой (и единственно значимой из оценок ЕГЭ) для оценок МИЭФ по статистике, микроэкономике, макроэкономике. Оценка ЕГЭ по английскому языку оказалась незначимой для всех последующих оценок студента в МИЭФ.
  • Нами была также исследована модель двоичного выбора (логит-модель) для функции поступления в Лондонский университет. Она описывает уже не итоговые оценки по отдельным предметам, а один из основных обобщающих результатов обучения на первом курсе МИЭФ. Двоичная переменная PASS_UL равна единице, если данный студент выполнил требования Лондонского университета, и нулю в противном случае. В качестве объясняющих переменных взяты три оценки ЕГЭ, а также, как замещающие контрольные переменные, результаты за первый семестр по трем предметам АРТ и оценка теста МИЭФ по макроэкономике в мае. Из оценок ЕГЭ здесь значимой оказалась лишь оценка по русскому языку, а из оценок за первый семестр наиболее показательной оказалась оценка по математическому анализу.
  • Что касается конкретных рекомендаций по критериям приема студентов, то мы считаем использование трех данных оценок ЕГЭ вполне приемлемой для отбора среди абитуриентов, ибо после перехода от собственных экзаменов ГУ-ВШЭ к ЕГЭ академические успехи студентов МИЭФ на внешних международных экзаменах остались примерно на прежнем уровне.
Что касается моих рекомендаций, то хотелось, чтобы рекрутеры и HR взглянули на эти исследования с т.з. бизнес задач компании. Увидим ли мы уже в этом году модель двоичного выбора для функции приема на работу или отбора в кадровый резерв уже в этом году?

Комментариев нет:

Отправить комментарий