Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность. Дэн Гарднер

потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, – это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.

      Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит – это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % – его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х – верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.

      Хорошо откалиброванный, но трусливый (сверху);

      хорошо откалиброванный и смелый (снизу)

      Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал – ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, – то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, – получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно[56].

      Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько

56

Результат Брайера «правильный», потому что побуждает прогнозиста высказывать свое настоящее мнение, а не подстраивать его под политические требования. Прогнозист, которого заботит только результат Брайера, выскажет свое искреннее мнение, что, допустим, есть 4 % вероятности, что Иран проведет ядерные испытания в 2015 году; но прогнозист, который переживает, что его назначат козлом отпущения, может поднять процент вероятности, чтобы не допустить возможных обвинений впоследствии – «но вы же говорили, что вероятность всего 4 %!». Результат Брайера предусматривает потери в репутации из-за самоуверенности, и они соответствуют финансовым потерям, которые несут игроки, допустившие такие же ошибки. Если вы не готовы сделать ставку в соответствии с вашим расчетом вероятности, пересчитайте вероятность. Glenn W. Brier. Verification of Forecasts Expressed in Terms of Probability // Monthly Weather Review 78. 1950. № 1. P. 1–3; Robert L. Winkler. Evaluating Probabilities: Asymmetric Scoring Rules // Management Science 40. 1994. № 11. P. 1395–1405.