Собес не может проверить все знания кандидата — он берёт срез из нескольких задач. Мы оценили каждый ответ на записанных ML/DS-собесах по единой шкале и посчитали, насколько итог зависит от самого человека, а насколько — от того, какие задачи ему выпали. Коротко: края собес различает, середину — почти нет, и поэтому число попыток заметно влияет на шанс оффера.
Один ответ почти ничего не значит.
9%оценки одного ответа объясняет сам кандидат; остальное — какой вопрос и кейс выпали
Каждый ответ — это не только знания человека, но и везение с вопросом. На наших собесах на долю кандидата приходится меньше, чем на медицинских экзаменах, где тот же эффект изучают десятилетиями.
Разложим балл одного ответа на три части: сколько в нём от устойчивого уровня кандидата, сколько от того, какая задача (кейс) ему попалась, и сколько от конкретного вопроса внутри задачи и случайности. На кандидата приходится 9%, на кейс — 16%, на вопрос и шум — 75%. Для сравнения, в мини-интервью при поступлении в медвузы доля кандидата около 22%.
Отсюда простая картинка. Возьмём двух кандидатов: настоящий уровень одного 1,80, другого 2,20 — второй реально сильнее. Но собес из нескольких задач ошибается примерно на ±0,26 балла, и «холмы» возможных результатов почти совпадают. Более слабый проходит планку в 22% собесов, более сильный проваливает в 22%, а слабый обгоняет сильного в 14%.
Из чего складывается оценка одного ответа
Два близких кандидата — почти один и тот же холм
- доля кандидата в оценке ответа
- 9%
- ошибка среднего балла собеса
- ±0,26
- собесов, где слабый обгоняет сильного
- 14%
ВыводЛюди в середине отличаются друг от друга меньше, чем ошибается собес. Поэтому результат одного собеса для них — во многом везение с задачами.
Точность даёт число разных задач.
0,54–0,66надёжность типичного собеса из 8 задач; для важного решения нужно 0,8
Шум одного вопроса усредняется, только если вопросы независимы: разные задачи и темы, а не уточнения одной. Чтобы шум упал вдвое, задач нужно вчетверо больше.
Надёжность — доля различий в баллах, которая объясняется различиями между людьми. Формула даёт для собеса из 8 задач 0,66. Прямой замер устроен проще: делим задачи одного собеса на две непересекающиеся половины и смотрим, согласны ли они. Половины согласны хуже, чем обещает формула, и пересчёт на целый собес даёт 0,54.
Половина наших собесов содержит от 5 до 12 независимых задач — это крутой участок кривой. Уровня 0,8 по прямому замеру кривая достигает примерно к 27 задачам: за час собеса столько не бывает.
Сколько задач нужно, чтобы собес был надёжным
Две половины одного собеса
| Показатель | Замер | Формула | |
|---|---|---|---|
| по 2 задачи в половине | 0,29 | 0,33 | 60% совпадение решения, 243 собесов |
| по 3 задачи в половине | 0,32 | 0,42 | 61% совпадение решения, 188 собесов |
| по 4 задачи в половине | 0,35 | 0,49 | 64% совпадение решения, 141 собесов |
| по 6 задач в половине | 0,39 | 0,59 | 63% совпадение решения, 77 собесов |
Что связано с ошибкой собеса
- надёжность при 4 задачах
- 0,37
- при 20 задачах
- 0,75
- оптимистичная оценка формулы
- 0,66
ВыводГлавный рычаг точности — число разных коротких задач. Длительность, доля теории и подсказки связаны с ошибкой в основном через него.
Края видно, середину — нет.
68%кандидатов собес не может уверенно поставить ни выше, ни ниже среднего
Собес работает как фильтр краёв: явно слабых и явно сильных он видит надёжно, а кандидатов посередине — почти нет.
Средний кандидат в корпусе набирает 2,02 балла — «суть понимает, но с дырами». Ошибка одного собеса — от ±0,23 по формуле до ±0,30 по прямому замеру, то есть того же порядка, что и сами различия между людьми. Уверенно ниже среднего — 16,7%кандидатов, уверенно выше — 15,2%, остальные неотличимы.
Если позвать того же человека на другой собес той же длины, у планки решение перевернётся примерно в 50% случаев — как монетка. Для балла 1,50 или 2,50 шанс около 14%–13%, а дальше от планки он быстро падает до единиц процентов.
Где сидят кандидаты
Шанс, что другой собес решит иначе
- уверенно ниже среднего
- 16,7%
- уверенно выше среднего
- 15,2%
- различимых уровня кандидатов
- ≈2
ВыводОтказ на одном собесе, если человек не провалил всё подряд, мало говорит о его уровне. Для середины исход во многом решают выпавшие задачи.
Подсказка меняет балл.
42%технических вопросов кандидаты проходят с помощью интервьюера
Подсказки — обычная часть собеса, но они почти вдвое поднимают балл ответа. Разные интервьюеры подсказывают по-разному, и это ещё один источник случайности.
Без всякой помощи проходит только часть вопросов; в 6% случаев интервьюер по сути сам называет ответ. После намёка средний балл растёт с 0,91 до 1,77 — ответ «с подсказкой» говорит скорее о том, что интервьюер довёл кандидата до ответа.
Если считать только то, что кандидат показал до помощи, надёжность собеса ниже: 0,62 по формуле. Часть устойчивости собеса создают сами интервьюеры, подтягивая ответы к одному уровню.
Сколько помощи получают кандидаты
Балл до и после подсказки
- вопросов с помощью интервьюера
- 42%
- балл до и после намёка
- 0,91 → 1,77
- надёжность без подсказок
- 0,62
ВыводПограничного кандидата честнее проверить новой задачей, чем дотягивать подсказками старую.
Упорство против уровня.
44%шанс хотя бы одного оффера у среднего кандидата за 10 компаний — хотя по уровню он не проходит планку
Раз собес шумный, кандидат, который проходит много процессов, рано или поздно попадает в удачную сторону распределения. Это модель с явными допущениями, а не наблюдение.
Уровни кандидатов и ошибку собеса берём из нашего корпуса: средний балл 2,02, разброс между людьми ±0,32. Планка компании при таких допущениях — 2,24. Кандидат ровно на планке получает оффер в одной компании лишь в 25%случаев: на двух этапах ему тоже может не повезти. Средний кандидат — в 5,6%, но за 10 компаний уже в 44%, за 20 — в 68%.
Для рынка это значит, что чем больше люди ходят по собесам, тем больше среди нанятых «прорвавшихся» из середины. Если каждый проходит одну компанию, ниже планки компании на самом деле 20% нанятых; если до двенадцати — уже 48%.
Шанс хотя бы одного оффера
Упорство против уровня
| Кандидат | Лучше кандидатов | 1 компания | 5 | 10 | 20 | Вилка за 10 |
|---|---|---|---|---|---|---|
| Слабый, 1,70 | 16% | 0% | 0% | 0% | 1% | 0%–1% |
| Чуть ниже среднего, 1,90 | 36% | 1% | 5% | 10% | 18% | 5%–15% |
| Средний, 2,05 | 54% | 5,6% | 25% | 44% | 68% | 36%–51% |
| Ровно на планке, 2,24 | 75% | 25% | 76% | 94% | 100% | 94%–94% |
| Сильный, 2,45 | 91% | 62% | 99% | 100% | 100% | 100%–100% |
Если все ходят на много собесов: кто оказывается нанятым
ВыводДля кандидата из середины число доведённых до конца процессов — рабочая стратегия: отказы там во многом случайны. Явно слабого упорство не спасает.
Откуда цифры и чего они не скажут.
0,89AUC: насколько наш балл отделяет ответы, которые интервьюер одобрил, от тех, которым возразил
Баллы ставила модель по единой шкале с якорями, и они хорошо согласуются с живой реакцией интервьюеров. Но это надёжность процедуры, а не доказательство, что собес предсказывает работу.
База — 270 уникальных технических собесов из 337 записей (не меньше 3 независимых задач), 8 957 оценённых ответов. Для каждого технического вопроса интервьюера модель поставила правильность ответа 0–4 по рубрике с якорями, трудность вопроса, уровень подсказки и балл до неё, а также объединила уточнения одной задачи в один кейс — именно кейс, а не отдельный вопрос, считается независимым свидетельством.
Проверка, что баллы меряют нужное: где интервьюер вслух одобрил ответ, средний балл заметно выше, чем где он возразил. Типичный собес содержит 8 независимых задач по 3,61 вопроса. Надёжность считаем двумя способами — по формуле и прямым замером половинами собеса (400 случайных делений).
Наш балл против реакции интервьюера
Как распределились баллы
- уникальных технических собесов
- 270
- оценённых ответов
- 8 957
- AUC согласия с интервьюером
- 0,89