2062: время машин. Тоби Уолш

мы обесцениваем будущее счастье на два процента в год по нынешнему курсу инфляции во многих развитых экономиках. Из этого следует, что быть счастливым через год – это всего 98 % от цены сегодняшнего счастья. Нам придется еще раз воспользоваться утилитарной точкой зрения и подсчитать сумму счастья всего населения. Подарить двум людям одинаковую радость в два раза ценнее, чем подарить эту радость одному человеку.

      Ради аргумента предположим, что население планеты продолжит расти в том же темпе, что и сейчас. В следующем году оно будет на 1,1 % больше, чем сегодня. Так как коэффициент дисконтирования больше, чем темпы роста населения, будущие поколения (даже бесконечные) не будут так же счастливы.

      Через шестьдесят три года нынешнее население планеты удвоится. Однако коэффициент дисконтирования счастья таков, что люди, которые будут жить в это время, получат лишь его четверть. Счастье всего мира через шестьдесят три года будет лишь половиной сегодняшнего счастья. Поэтому важнее обрести его сейчас, а не через столько времени.

      Через сто двадцать шесть лет население увеличится в четыре раза. По коэффициенту дисконтирования их радость будет составлять всего одну шестнадцатую от сегодняшней. Всеобщее счастье, в свою очередь, составит лишь четверть от сегодняшнего показателя. И снова представляется очевидным тот факт, что сегодняшнее счастье гораздо весомее будущего.

      Даже небольшой коэффициент дисконтирования заставляет нас сосредоточиться на настоящем. Более актуальных проблем, по поводу которых имеет смысл волноваться, в мире предостаточно. Эти проблемы нанесут нам вред гораздо быстрее, чем сверхинтеллект. Несомненно, эта книга – предостережение по поводу некоторых реальных угроз, исходящих от ИИ и возникающих уже сейчас. Однако большинство из них касается исключительно того примитивного искусственного интеллекта, который мы имеем на сегодняшний день, а не того, который появится через пятьдесят или сто лет.

      Никогда не говори «никогда»

      Разумеется, нельзя уверенно говорить о том, что сверхинтеллект не представляет никакой опасности для человечества. История уже много раз учила нас никогда не говорить «никогда».

      Мой коллега Стюарт Рассел любит вспоминать, что один из самых авторитетных физиков своего времени, Эрнест Резерфорд, утверждал, что извлечение энергии из атома невозможно. Эта его цитата была опубликована в статье в газете The Times 12 сентября 1933 года. На следующий день Лео Силарду пришла в голову идея ядерной цепной реакции, которая породила ядерную бомбу и атомную энергию[41]. Меньше чем за день человечество преодолело расстояние от «никогда» до «пугающе близко».

      Стоит с осторожностью относиться к слову «никогда». Артур Ч. Кларк предложил три закона, которые предупреждают об опасности прислушиваться к тем экспертам, которые утверждают, будто что-либо никогда не произойдет. Их стоит держать в уме, когда речь идет о будущем.

      • Первый закон. В случае, когда

41

По словам историка Ричарда Роудса, идея цепной реакции атомов пришла к Лео Силарду, когда он переходил улицу в лондонском районе Блумсбери на следующий день после того, как Резерфорд заявил о невозможности извлечения энергии из атома: «На светофоре загорелся зеленый свет. Силард сошел с тротуара. В тот момент, когда он пересек улицу, время вдруг раскрылось перед ним и он узрел путь в будущее, смерть в мире, все наши беды и очертания грядущих событий» (См. Richard Rhodes [1986] The Making of the Atomic Bomb, New York, Simon & Schuster). Цепная ядерная реакция – один из самых драматичных примеров силы экспоненциального роста. Один нейтрон расщепляет атом, высвобождая два нейтрона. Эти два нейтрона расщепляют два новых атома, высвобождая четыре нейтрона. Из этих четырех получается восемь, из восьми – шестнадцать, из шестнадцати – тридцать два и т. д. Спустя десять шагов мы получаем тысячу нейтронов, спустя двадцать – миллион, спустя тридцать – миллиард, спустя сорок – триллион. ИИ сейчас представляет собой пример подобного экспоненциального роста вычислительной способности, объема данных, выполнения алгоритмов и финансирования, инвестируемого в эту область. Так же, как и все экспоненты, этот рост не может продолжаться вечно, но пока это происходит и прогресс впечатляет. 3. Конец совести