HT Lab | Лаборатория Гуманитарные Технологии

Хороший тест может врать. И причина часто не в методике 

Компания может годами пользоваться одним и тем же тестом и быть в нём уверена. Но итоговый балл кандидата зависит не только от методики, но и от норм, по которым его рассчитывают. 

Со временем могут меняться характеристики людей, для которых предназначен тест, и условия тестирования. Старые нормы уже неточно показывают положение человека относительно тех, кого оценивают сегодня.

Для бизнеса это вопрос качества кадрового решения.

Если группа сравнения подобрана неудачно, мала или тестовые нормы устарели, возрастает риск некорректно сопоставить кандидатов и опереться на это сравнение при отборе в резерв или назначении.

Что стоит уточнить у разработчика теста:
— С кем именно сравнивают кандидата?
— Когда нормы обновляли в последний раз?

Ориентир — Российский стандарт тестирования: минимально приемлемая выборка для норм — 200 человек, а для универсальных тестов, которые применяют в разных организациях и отраслях, рекомендуется 500. Обновлять нормы рекомендуется раз в три года.

#вопросответ

Высокий балл в онлайн-тесте — а вдруг это ИИ? 

Во время тестирования система отметила, что респондент несколько раз уходил со страницы. Может быть, он спрашивал ответы у ИИ, а может, чинил микрофон. По одной отметке этого не понять — нужно посмотреть запись.

Прокторинг хорошо показывает, что что-то произошло, но не всегда объясняет, что именно. С подключённым вторым монитором тест просто не начнётся, а вкладку с нейросетью видно на записи экрана. 

С телефоном сложнее: камера покажет, что человек взял его в руки, но не то, что на экране. Если респонденту подсказывает кто-то рядом, многое зависит от того, насколько разборчиво слышна речь на записи.

В статье разбираем эти четыре сценария: что можно ограничить заранее, что система зафиксирует в процессе, а что придётся проверять вручную — и как поступать со спорными результатами.

➡️ Читать статью

Чтобы не потеряться и не пропустить важное, мы здесь:
Рассылка | MAX | ВКонтакте | Таплинк

#статья

Высокий балл в онлайн-тесте — а вдруг это ИИ? 

Во время тестирования система отметила, что респондент несколько раз уходил со страницы. Может быть, он спрашивал ответы у ИИ, а может, чинил микрофон. По одной отметке этого не понять — нужно посмотреть запись.

Прокторинг хорошо показывает, что что-то произошло, но не всегда объясняет, что именно. С подключённым вторым монитором тест просто не начнётся, а вкладку с нейросетью видно на записи экрана. 

С телефоном сложнее: камера покажет, что человек взял его в руки, но не то, что на экране. Если респонденту подсказывает кто-то рядом, многое зависит от того, насколько разборчиво слышна речь на записи.

В статье разбираем эти четыре сценария: что можно ограничить заранее, что система зафиксирует в процессе, а что придётся проверять вручную — и как поступать со спорными результатами.

➡️ Читать статью

Делимся записью вебинара-экскурсии, где Дарья Голева из отдела исследований и разработок HT Lab заглянула под капот обновлённых тестов безопасного поведения «SafetyStart» и «SafetyProfile». Она рассказала, как изменился состав шкал и что теперь видно в отчётах.

Эти тесты используют на опасных производствах и стратегических объектах, чтобы оценить склонность сотрудников к рискованному поведению и нарушениям правил.

Чтобы не потеряться и не пропустить важное, мы здесь:
Рассылка | MAX | ВКонтакте | Таплинк

#статья