.

истинное утверждение в ложное. Данный совет легко принять, особенно если задуматься, какой нелегкий труд – сочинять тест с несколькими вариантами ответа. На каждый верный ответ преподаватель должен придумать несколько правдоподобных неверных. Простые рецепты составления ложных утверждений должны использоваться достаточно часто.

      Я обнаружил одно любопытное исключение. В исследованных мною тестах ответы «ни одно из вышеперечисленных» и «все из вышеперечисленных» в большинстве случаев оказывались верными. В одном из учебников для колледжа в тесте с четырьмя вариантами ответов такие, как «все/ничего», были правильными в 65 процентах случаев!

      Ответы «ни одно из вышеперечисленных» не могут существовать отдельно; они должны быть окружены другими. Сложность задачи, по-видимому, мешает составителям включить нужное количество неверных ответов из категории «ни одно» или «все». В моей выборке ответ ни одно/все оказался верен в 52 процентах случаев. Такая близость к репрезентативности не может не вызывать удивления.

      Другое любопытное эмпирическое правило гласит, что верным, скорее всего, окажется самый длинный из нескольких возможных ответов. На один из вопросов экзамена на водительские права в штате Вашингтон верным действительно оказывается самый длинный вариант (В):

      Для поворота направо вы должны находиться:

      А. В левом ряду.

      Б. В среднем ряду.

      В. В ряду, ближайшем к направлению, куда вы хотите повернуть.

      Г. В любом ряду.

      Составители тестов должны убедиться, что верные ответы бесспорны. Нередко это требует точных определений. В неверных ответах они могут не так стараться.

      Подобно тестам, предполагающим выбор ответа «да» или «нет», тесты с несколькими вариантами ответа характеризуются избыточным чередованием. Довольно часто обнаруживались короткие тесты, в которых ни один правильный вариант не повторялся два раза подряд. Ключ к ответам напоминал поле для игры в классики.

      Я подсчитал, насколько часто положение правильного ответа (A, Б, В…) повторяет положение предыдущего правильного ответа. Для тестов с тремя вариантами на выбор в моей базе данных правильные ответы в двух соседних вопросах совпадали только в 25 процентах случаев (против 33 процентов, ожидаемых для случайной последовательности). Для тестов с четырьмя вариантами выбора – совпадений 19 процентов (против 25 ожидаемых), а для тестов с пятью вариантами ответов – 18 процентов (против 20 ожидаемых).

      На графике, иллюстрирующем эти результаты, линия отображает ожидаемую вероятность для настоящей случайной последовательности. Для любого количества вариантов выбора повторений оказалось слишком мало. Это означает, что испытуемый повышает свой шанс угадать ответ, просто не повторяя предыдущий.

      Вероятность повторения ответа два раза подряд

      Я составил соотношение этой и других стратегий, вычислив, насколько они улучшают шансы по сравнению со случайным угадыванием.

      Совершенно