Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных. Дэвид Хэнд

будущих заявителей как «добросовестные заемщики» или «потенциальные неплательщики».

      Проблема заключалась в том, что банк хотел получить модель, позволяющую делать прогнозы в отношении всех будущих заявителей. Предоставленные мне данные, безусловно, не были генеральной совокупностью, отражавшей всех заявителей – они касались лишь тех, кто уже прошел процесс отбора. Надо полагать, состоявшиеся клиенты получили кредиты, потому что им был присвоен статус приемлемого риска в соответствии с каким-то более ранним механизмом отбора – на основе либо предыдущей статистической модели, либо субъективной оценки менеджеров банка. Те, кого сочли слишком рискованными, не получили ссуду, поэтому я не мог знать о том, насколько добросовестно они выполнили бы свои обязательства. Я даже не имел понятия, сколько заявителей было отклонено ранее и не попало в мой набор данных. Короче говоря, данные, предоставленные мне, были искаженной выборкой с неизвестными критериями отбора (или смещением выборки), и любая статистическая модель, построенная на этом наборе данных, вводила бы в заблуждение в случае применения ко всем потенциальным кандидатам.

      Сноски

      1

      https://blog.uvahealth.com/2019/01/30/measles-outbreaks/, accessed 16 April 2019.

      2

      http://outbreaknewstoday.com/measles-outbreak-ukraine-21000-cases-2019/, accessed 16 April 2019.

      3

      https://www.theglobeandmail.com/canada/article-canada-could-see-large-amount-of-measles-outbreaks-health-experts/, accessed 16 April 2019.

      4

      E. M. Mirkes, T. J. Coats, J. Levesley, and A. N. Gorban, “Handling missing data in large healthcare dataset: A case study of unknown trauma outcomes.” Computers in Biology and Medicine 75 (2016): 203-16.

      5

      https://www.livescience.com/24380-hurricane-sandy-status-data.html.

      6

      D. Rumsfeld, Department of Defense News Briefing, 12 February 2002.

      7

      http://archive.defense.gov/Transcripts/Transcript.aspx?TranscriptID=2636, accessed 31 July 2018.

      8

      https://er.jsc.nasa.gov/seh/explode.html.

      9

      https://xkcd.com/552/; отчет комиссии Роджерса см. https://forum.nasaspaceflight.com/index.php?topic=8535.0.

      10

      R. Pattinson, Arctic Ale: History by the Glass, issue 66 (July 2102), https://www.beeradvocate.com/articles/6920/arctic-ale/, accessed 31 July 2018.

      11

      В действительности оказалось, что победившая заявка была шуткой и участник торгов не собирался платить. Но даже при этом Вудул мог рассчитывать на приличную прибыль: частный коллекционер из Шотландии недавно продал с аукциона бутылку из экспедиции 1875 г. за £3300, что равняется примерно