Конец индивидуума. Путешествие философа в страну искусственного интеллекта. Гаспар Кёниг

ряда вторичных целей: сохранить собственное существование, улучшить когнитивные способности и достать ресурсы. Бостром приводит ставший очень известным пример производства скрепок. Если бы некий ИИ был обязан произвести максимум скрепок для каких-то промышленных целей и по недосмотру превратился в сверхинтеллект, у него не было бы другого выбора, кроме как уничтожить людей, которые мало приспособлены к этой задаче, а их атомы можно было бы реорганизовать наиболее продуктивным способом. Сверхинтеллект успокоился бы лишь тогда, когда вся вселенная была бы превращена им в скрепки.

      Сумма Бострома заставляет вспомнить о сумме святого Фомы Аквинского: все в ней логично – и все неправильно. Но ошибку еще нужно найти…

      Порок кроется в самих посылках, а именно в определении интеллекта. Бостром не слишком распространяется на эту тему, что несколько странно, и, по сути, ограничивается утилитаристским описанием, которое разделяет и его ученик Макс Тегмарк: интеллект – это способность достигать сложных целей. Таким образом, он трактуется в качестве средств, оптимальных для реализации определенной цели, которая сама берется откуда-то извне. Из этого, естественно, следует, что интеллект ортогонален всякой цели, поскольку исключает ее из своего механизма.

      Отсюда и неизменное затруднение, с которым сталкивается Бостром, когда рассуждает о смысле или цели в связи с ИИ[41]. Прежде всего, он констатирует, что человеческие цели невозможно выразить в форме информационного кода. Как, к примеру, определить «доброту»? Если попросить сверхинтеллект сделать нас «счастливыми», вдруг он просто вживит электроды в «центры удовольствия» в нашем мозге?[42] Это похоже на трагедию царя Мидаса: он превращает в золото все, к чему прикасается, и поэтому в конце концов начинает голодать. Он хотел быть богатым (цель), но оказался в ситуации смертельной опасности (поскольку применяет технически совершенные, но не подходящие для жизни средства). Использование исключительно мощного интеллекта для достижения цели, смысла которой он не понимает, обязательно закончится катастрофой. Но как можно называть интеллектом сущность, которая не может понять, что такое доброта, счастье или алчность? Не является ли это признаком внутренней ограниченности ИИ? Бостром признаёт, что человеческие представления сложны, но не эту ли сложность собирался преодолеть ИИ, обладающий способностью к бесконечным вычислениям?

      Мало того что человеческие цели непонятны ИИ (а потому неприложимы к нему), дело еще и в том, что никто не может договориться об их содержании. Даже если бы мы получили возможность встроить в сверхинтеллект определенную цель – какую именно выбрать? Как признаёт Бостром, сегодня нет ни одной этической теории, по поводу которой философы достигли бы консенсуса. Тегмарк, впрочем, попытался составить список более или менее общепризнанных ценностей (универсализм, многообразие, автономия…), но вынужден был остановиться, признав абсурдность

41

Это так называемая symbol grounding problem, «проблема обоснования символов»: ИИ не может закрепить символы, постоянно производимые им, в соответствующей реальности. Как и в эксперименте с «китайской комнатой», он сталкивается с неспособностью произвести смысл.

42

Бостром называет это «извращенным исполнением», тогда как философы ИИ описывают эту проблему в целом термином «упорядочивание целей».