Котелок
Задачи “про гномиков”
  • Данные и аналитика
  • Интеллетуальные игры
  • ЧГК
  • Собеседования
Обзор популярных задач на собеседованиях
Много статей написано о том, как надо или не надо проводить собеседования. Вот ещё одна. Я хочу обсудить такой популярный класс как “задачи про гномиков”. Что это такое, как это работает и работает ли, в каких случаях лучше применять. Подключу для оценки свой опыт из спортивного “Что? Где? Когда?” (ЧГК), а также выслушаю мнение тех HR, с которыми лично мне было комфортно взаимодействовать как с одной, так и другой стороны “баррикад”.

Итак, что же я называю задачами про “гномиков”? Проще всего начать сразу с примера. Знаменитая задача из Google, которая упоминалась в фильме The intetship (Кадры, 2013) и в десятках статей по прохождению собеседований.
Что вы будете делать, если вас уменьшили до 5-центовой монеты, бросили в блендер, который включится через 30 секунд?
Решение, которое называют правильным
Я выпрыгну из блендера до того, как он начнет работать.
Вес существа пропорционален кубу его высоты, а сила мускулов и скелета пропорциональна квадрату высоты. если вас уменьшить в 10 раз, то сила ваших мускулов уменьшится в 100 раз, а вот вес станет меньше в 1000 раз. Значит, вы, как и любое существо подобного размера - блоха, муравей - легко преодолеете высоту в 70 см. Обычно блендер не выше 30 см. Значит, вы легко сможете преодолеть это препятствие.
Типичная задача.
  • Как правило, её спрашивают в тех конторах и на тех позициях, где не уменьшают людей, не изучают структуру человеческих мышц и даже не продают блендеры. Это задача, не связанная с будущей работой
  • В этой задаче присутствуют существа, которые уменьшаются, что, кажется, пока невозможно. Часто в этих задача фигурируют гномики, собачки, эльфы и прочие сущности, которых ты не встретишь не только на работе, но и вообще в этой Вселенной. Это абстрактная задача
  • Задача формулируется коротко, но по мере решения могут всплывать новые подробности: размер блендера, способ уменьшения и так далее. Это задача с неявными условиями
  • Решение задачи считаете собеседующим оригинальным, нетиповым. Это задача на т.н. нестандартное мышление, что бы это ни значило
  • Не смотря на прошлый пункт, у задачи есть явное однозначное решение, любое “оригинальное” решение считается неправильным. Это всё-таки задача с ответом
Это признаки можно взять в качестве определения, что же такое “задачи про гномиков.” Или, что ими не является.
  • Если вы реально проектируете блендеры и вам нужно сделать их безопасными от попадания всяких гномиков (а то попадёте на судебный иск) - то это уже задача по работе
  • Задачи вида “сколько бейсбольных мячей поместится в Боинг” предельно конкретны, и мячи и самолёты существуют в нашей Вселенной
  • Если в качестве задачи вам дают четкое ТЗ со всеми условиями, аспектами и так далее и по нему предлагают вам сделать короткую программку - это тоже совершенно другое
  • Если вас просят написать эссе на какую-то тему - тоже можно выдохнуть. У такого формата не может быть явного правильного или неправильного ответа. Возможно, будут смотреть ключевые слова в вашем тексте, возможно, какие-то обязательные пункты-критерии (как в ЕГЭ), или вообще не будут читать.
Казалось бы, я должен любить такие задачи. Они близки к вопросам ЧГК, опыт игры должен мне помогать обходить конкурентов, да и просто приятно щёлкать задачи как семечки. На деле я точно не могу причислить себя к их фанатам, поэтому, как мне кажется, могу попробовать их разобрать объективно.

Итак, на что рассчитывают собеседующие и что, с наибольшей вероятностью получают на этих задачах?
Итак, на что рассчитывают собеседующие и что, с наибольшей вероятностью получают на этих задачах?

- Такие задачи помогают найти лучших из лучших. Самых способных, самых ярких и самых перспективных.
Кажется, и такие наивные люди ещё остались.
На смотря на личный опыт, на то, что даже Google, главный оплот “гномиков” на этой планете, отказался от этой практики.

Иногда, это более очевидно. Зачем нужна креативность и сообразительность офис-менеджеру, дата-инженеру или бухгалтеру? У них достаточно конкретные задачи, такие, что действия “свободного художника” могут сломать работу остальной команды, если не до уголовной статьи довести. Иногда - менее. Казалось бы, менеджерам или дизайнерам полезно смотреть outside the box. К сожалению, на данный момент до сих пор нет доказательств связи успешности решения задач “на сообразительность” ни с какими рабочими задачами. Корреляция есть только с вероятностью пройти собеседование.

Для справедливости нужно добавить, что IQ-тесты, разряды по шахматам\го или серьёзные успехи в ЧГК тоже не показывают никакой корреляции ни с рабочими задачами, ни даже между собой.

- Пусть так. Но всё равно они помогают найти людей, которые умеют думать. Да, не для всех позиций, но очень часто. В XXI это ключевой навык.
К сожалению, есть большие сомнения даже в том, что успех в задачах “про гномиков” как-то связан с умением думать. Дело в нескольких факторах.

Во-первых, любые задачи “в вопросы и ответы” (IQ-тесты, загадки, викторины) по определению одноразовые. Первый раз, возможно, это что-то и показывает, но когда тебе ту же загадку тебе задают второй раз, она проверяет только память. Говорят, что задача “засвечена”. Сравните с какими-то задачками на алгоритмы. Даже если вы помните суть, ход решения и основные проблемы, которые вам встретятся, всё равно нужно сесть и написать код. В котором можно допустить парочку нелепых ошибок, назвать криво переменные и много чего ещё. Для “гномиков” же, решения которых выглядят простыми и лаконичными, никаких подобных сложностей нет.

К сожалению, одноразовые задачки собеседующие используют в лучшем случае так же, как одноразовые бритвенные станки. А это значит, что с очень большой вероятностью человек, который показал вам верное решение задачи, просто-напросто заранее знает правильный ответ. Почему так? Ну давайте посчитаем.

  • Согласно разным опросам от 70% до 90% соискателей готовятся к собеседованиям
  • Популярные вопросы, которые задают в крупных компаниях, легко гуглятся
  • Да и вообще классов вопросов “про гномиков” не так много. Можно потратить 6-8 часов и быть готовым к 90% таких “каверзных” вопросов
  • По данным разных опросов hr, от 40% до 80% кандидатов врут в резюме или на собеседованиях, а доля “профессиональных проходителей собеседований” варьируется от 20% до 40% в зависимости от специальности и роли.
  • Число собеседований в жизни сеньора оценить сложно. Это зависит и от характера человека, от географии, фактор случайности тоже большой. Какое-то число в интервале от 10 до 80. Примерно то же самое с вероятностью знакомства (хотя бы через соцсети) с другими кандидатами на эту позицию, бывшими и текущими сотрудниками.
  • Оценить, сколько людей в первый раз, справляются с той или иной задачей сложно. Эта доля не должна быть больше 50% заинтересованной (пришедшей на собеседование) аудитории, иначе сложно назвать её нестандартной. Кажется, что указанную задачу Гугла на самом деле в первый раз решило около 10%, но это недостоверная информация. Вопросы ЧГК, близкие по духу к “гномикам” (например, такой или такой) обычно даются тяжело и являются самыми сложными в своих турах (-10%-20% к числу взятых). В зависимости от уровня сложности это от 15% до 30%. И это не в среднем по IT-шникам, это по той аудитории, которой интересно играть в вопросы и ответы, которые собрались для этого в свободное время и заплатили за участие. Ещё там в команде 6 человек и минута на размышление. Чёрт с ней с минутой, но в индивидуальных турнирах результативность меньше (хотя это сложно оценить из-за того, что там разные вопросы). И, конечно, это число будет зависеть от сложности задачи. Ну, пусть будет 25%.
Итак, предположим, вы собеседуете на синьорскую востребованную позицию в хорошей компании с хорошими деньгами. Вы даёте им задачу “про гномиков”. Возьмём оптимистичный сценарий. У вас 30% кандидатов - это “профессиональные проходимцы” собеседований. Другие люди, допустим 10%, подготовились ко встрече и через друзей-коллег-знакомых сузили круг возможных вопросов. Ещё 10% кандидатов просто уже видели эту задачу на прошлых собеседованиях. Все они ответят “правильно”. Из оставшихся 50% кандидатов 25%, то есть 13% от общего числа кандидатов, услышат задачу в первый раз и решат её. Это значит, что если вы будете смотреть на выборку тех кандидатов, что вам ответили, на каждого “целевого” человека приходится по 4 человека, которые являются шумом в том сигнале, что даёт вам ваша задача.

Не верите? Считаете, что в ваших условиях другие числа и вероятности? Я приготовил вам простой калькулятор. Сделайте копию, попробуйте вставить другие числа. Если у вас получился другой результат, напишите в комментариях, мне было бы очень интересно на этой взглянуть. В лучшем случае вы сможете дойти до соотношения 50 на 50. Так не проще ли монетку бросить?

- Я легко смогу отличить кандидата, который уже решил задачу, от тех, кто встретился с ней впервые.
Увы, нет. Возможно, кто-то из тех 10% опытных кандидатов вам скажет. Я тоже, дурак, так делал. Например, когда получал одну и ту же задачу на четвёртом собеседовании чуть ли не подряд. Но не все такие, можно сказать, мы их уже в учли в этих 10%. А вот ответ “профессионалов” вы не отличите точно.

Так вышло, что мне пришлось участвовать в процедуре ловли доказанных читеров в интеллектуальных играх. Честно вам скажу, до тех пор, пока они сами не сознавались я до последнего рассматривал вариант какой-то дурацкой ошибки. Тут тебе и “озарения” и зрелищный ход мысли во время того, как человек “думает”. И возмущение в лучших чувствах, когда возникают сомнения в честности результата. Какие великие артисты погибают!

Так что, если у вас в команде нет театральных режиссёров или следователей, я бы не стал надеяться на то, что вы кого-то там сможете различить.

- Ну есть же пути сделать соотношение вероятностей в этом калькуляторе приятнее?
Есть, не буду спорить.
Можно уменьшить сложность задачи. Есть 90% заинтересованных решают её и так, смысла в спецподготовке немного. Но кого вы так фильтруете? Нет ли более простого способа с этим справиться?

Можно, повысить оригинальность задачи. Брать не первую, а 15-ую ссылку из гугла по запросу “задачи ‘с подвохом’ для собеседований”. К сожалению, у этого есть свои минусы. Популярные задачи для собеседований ещё более-менее норм с точки зрения корреляции сложности ну хоть с чем-то. А вот “оригинальные” могут иметь как прямые дырки, так и просто очень плохи. (Ниже разберем почему). Это естественный отбор: чем лучше задача, тем она популярнее. К тому же, любые “внешние” (существующие “в гугле”) задачи всегда уязвимы для атаки класса “профессор лопух, лопух, приём”. Устный экзамен в вузе с микронаушником не является феноменом уже лет 15.


Можно самому придумывать задачи. Это радикальное решение. Но так ли собственные задачи будут хороши? И один раз их же не получится придумать, надо поставлять регулярно. Сможете? Например, большинство игроков спортивного ЧГК не пишет свои вопросы. Обычно этим, причём за приемлемые деньги, занимаются специальные редакторы. Если вы можете в промышленных масштабах поставлять свежие задачки “на логику” и они будут постоянно хороши, может, вам стоит подумать подработке или даже смене профессии? Кроме редакторов интеллектуальных игр можно попробовать основать своё HR-агентство.

Можно ограничиться этими задачами только для джуновских позиций. У этого подхода есть и другие плюсы, вернёмся к этому позже.

- В вопросах “на логику” важен не самом ответ, а возможность послушать, как кандидат думает.
К сожалению, это тоже не так. Этот класс задач - “на озарение”, то есть невозможно составить план решения такой задачи и просто по нему идти. Поэтому тот подход, который хорош для алгоритмических сессий, тут не работает. Ситуация, когда человек думает над задачей и ситуация, когда его просят всё максимально вслух проговаривать - разные. Если не верите, можете попробовать посмотреть телеЧГК в те времена, когда обсуждение во время суперблицев (когда вместо команды играет один игрок) одобрялось. Да и сама игра норм была)) Один и тот же человек во время обычного вопроса и суперблица ведут себя совершенно по-разному, это нормально. Это даже нынешняя телегруппа поняла и теперь игроки имеют право думать молча. Так вышло, что у меня тоже есть некоторый опыт игры и в суперблицах. Подтвердждаю, это совершенно другой вид спорта, молчать гораздо эффективнее, чем вываливать на слушателя всё, что проносится перед собой в этот момент.

В какой степени, именно так, “на дурачка”, можно попробовать поймать “актёров”: если человек думает, говорит связные мысли и потом доходит до ответа - вполне возможно, он уже давно знает ответ и просто морочит вам голову. В то же время реально думающий будет говорить какой-то бред, а потом как будто из ниоткуда вылезет ответ. Но, конечно, никакой серьёзной статистики за этой гипотезой не стоит, не является индивидуальной инвестиционной рекомендацией.

Ну и, положа руку на сердце. Предположим, вам нравится задача и её решение. Вот человек будет говорить какие-то разумные вещи, включит логику и придумает другое решение? Ну, например, для задачи с блендером предложит использовать мерную шкалу, которая часто бывает рельефной, как лестницу? Отличное решение! Оригинальное, свежее, яркое. Чем оно хуже авторского? Да оно лучше! Скажите честно, вы готовы признать, что это тоже ответ, захлопать в ладоши и предложить кандидату офер? Даже если готовы, вы в меньшинстве. Большинство просто переформулирует задачу: “что вы будете делать, если вас уменьшили до 5-центовой монеты, бросили в блендер с плоской мерной шкалой, который включится через 30 секунд?”. И предложит думать дальше. Неявные условия такие неявные.

Увы, от шаблона “вопрос-ответ” уйти невероятно сложно. В спортивном ЧГК есть механизм апелляций, но даже там есть свои сложности и засчитать можно далеко не любой оригинальный ответ. На собеседовании апеллировать некому. Психологический фактор тоже отбросить не получится: “ваша” версия всегда будет вам казаться лучше “чужой”.

- Всё равно эти вопросы хороши для понимания ясности мышления и указанные выше проблемы можно или исправить или сделать не такими серьёзными.
В целом да, но это тяжело. Так тяжело, что лично я на практике не видел ещё хорошей реализации. Но беда в том, что даже лучшие вопросы “про гномиков” объективно не так хороши, как нам говорят в бизнес-книгах. Опять попробую сравнивать эти задачи с вопросами спортивного ЧГК.

То, что они все “свечки” (то есть уже задавались) мы разобрались. Мы проговорили и то, что они имеют дырки (возможны другие хорошие решения). Ещё можно сказать, что вопросам про гномиков просто не хватает редактуры.

<Пример на отдельном вопросе>

- Даже со всеми указанными проблемами, это отличный способ расположить к себе человека, начать разговор с обсуждения вакансии.
Скорее наоборот, кандидата такие вопросы чаще “закрывают”, особенно, если он не даёт правильный ответ. Есть мнение, что кандидата открывает small talk, уместные шутки, бытовые мелочи, обсуждение его опыта, общих знакомых или интересов. Но уж точно ощущение того, что ты что-то не ответил.

- Ну есть же кандидаты, с которыми больше не о чем разговаривать!
Видимо, они называются джуны или стажёры. Нет опыта работы, образования нет (или оно совсем другое), нет опыта прохождения ругаемых всеми онлайн курсов или пет-проекта, абсолютная tabula rasa. В таком узком случае действительно можно задавать несложные вопросы “на логику”. Но лучше, всё-таки придумать пример, близкий к жизни. Не знает языков программирования? Пусть пишет алгоритм на русском, как может. Не знает, как устроен интернет? Пусть фантазирует! Покажите какие-то синтетические графики, придумайте какой-то управленческий кейс. Если кандидат геймер - придумайте задачу по его любимой игре.
Мне на собеседовании задавали следующие задачи по игре Heroes of Might and magic III. Можете предлагать свои варианты ответов в комментариях:
- Может ли Чарна с одним стражем и заклинанием Гипноз справится с виверной и василиском?
- Придумайте условия, когда гарпия сможет справиться с чёрным драконом.
В остальных случаях у вас всегда есть две хорошие темы для разговоров: задачи, которые нужно решать кандидату после офера и опыт кандидата. Если у вас есть возможность дать упрощённые версии боевых задач в боевых условиях - замечтательно. Аналитики в вашей компании используют Jupyter Notebook и гуглят куски кода на StackOverflow? Дайте кандидату возможность запустить у себя юпитер и гуглить. Конечно, надо помнить про коммерческие тайны и персональные данные. В природе существует много генераторов и обфускаторов данных. Какой-то пример всегда можно вырвать из прода, сделать ему “обрамление” и напилить на его основе задач.

Готовых задач в природе тоже хватает. Lettcode, sql-ex, тысячи их.

Даже если всякие франшизы по онлайн курсам лично вам не нравятся, всегда есть варианты использовать их базы и их задачи.

А ещё вы всегда можете отдать интервью на аутсорс. Есть десятки HR-агентств, которые готовы и кандидата вам найти и провести техническое собеседование. Лучше, вам, конечно, при них присутствовать.

Не доверяете им? Найдите эксперта по интересующей вас теме на том же хабре и предложите ему за скромный прайс посидеть на парочке встреч. Уверен, с кем-нибудь, вы точно сможете договориться.

Ну если вам вот прям позарез хочется чего-то на логику, так задайте прямо вопросы ЧГК! Получите обкатанную “на бою” редакторскую работу, лишённую большую часть проблем, описанных выше. База большая, пользоваться ей можно бесплатно, выбирайте на свой вкус. Вот IT кубок есть, например. Вот хорошая серия для новичков. ЧГК, 60 секунд, брейн-ринг - почему нет? Только, ради бога, не надо использовать вопросы своей игры или квизов. Это немного другая история.

<На закуску комментарии HR>

Желаю всем нанимающим менеджерам найти хороших кандидатов, а всем находящимся в поисках работы - найти ту, на которой вам будет комфортно. И желаю вам найти её без решения задач “про гномиков”.
(c) 2022. Kotelok, Roman Tsaregorodtsev