Совместимость. Как контролировать искусственный интеллект. Стюарт Рассел

болезней. См., например: Robert Heath, “Electrical self-stimulation of the brain in man,” American Journal of Psychiatry 120 (1963): 571–77.

      16

      Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, “Biology and conservation of the pygmy sloth, Bradypus pygmaeus,” Journal of Mammalogy 96 (2015): 703–7.

      17

      Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, “A new factor in evolution,” American Naturalist 30 (1896): 441–51.

      18

      Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

      19

      Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, “How learning can guide evolution,” Complex Systems 1 (1987): 495–502.

      20

      Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, “Interactions between learning and evolution,” in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).

      21

      Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.

      22

      Цит. в пер. Н. Брагинской. – Прим. пер.

      23

      Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.

      24

      Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

      25

      Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. – Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensées (Chez Guillaume Desprez, 1670).

      26

      Понятие полезности: Daniel Bernoulli, “Specimen theoriae novae de mensura sortis,” Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

      27

      По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

      28

      Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

      29

      Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, “A note on measurement of utility,” Review of Economic Studies 4 (1937): 155–61. Если s₀, s₁, … – последовательность состояний, то полезность в этой модели есть U (s₀, s₁, …) = ∑_tƴ ^tR (s_t), где ƴ – коэффициент дисконтирования, а R – функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего