Душа машины. Радикальный поворот к человекоподобию систем искусственного интеллекта. Пол Доэрти

совершает опасный маневр? Каким именно образом реклама компании распространяется в социальных сетях? И так далее. Однако многие из этих систем (особенно те, которые используют глубокое обучение) непрозрачны.

      Невозможно объяснить, как алгоритмы, работающие с огромным количеством параметров и множеством хитросплетенных уровней абстрагирования, делают те или иные выводы. А ведь они иногда могут обернуться катастрофой – приводить к расовой дискриминации в сфере кредитования и судебных решений по уголовным делам, к чудовищным ДТП или к тому, что онлайн-реклама уважаемых брендов появится рядом с неонацистским или конспирологическим контентом.

      Стремление сделать искусственный интеллект объяснимым, законодательно закрепленное в Общем регламенте Европейского союза о защите данных, вызывает вопрос: объяснимым для кого? Трактовки ищут разные заинтересованные стороны. А трудности возникают даже при использовании относительно простой системы оценки кредитного риска[15].

      Разработчики программного обеспечения и системные администраторы хотят получить разъяснение с точки зрения архитектуры и параметров обработки данных. Опытному кредитному специалисту, принимающему окончательное решение, возможно, понадобится информация о том, как система учитывала разные факторы, выдавая рекомендацию. Заявитель хочет понять, почему ему отказали: из-за возраста, расы, места проживания, плохой кредитной истории?

      Регулятору важно быть уверенным, что система не нарушает конфиденциальности данных и антидискриминационных законов и что она неуязвима для финансовых мошенников. Неспециалист, размышляющий о проблеме черного ящика в целом, может захотеть узнать, зачем кому-то создавать машину, действий которой он не понимает.

      Системы глубокого обучения не умеют читать

      Мы можем собрать все книги мира в огромную базу данных с возможностью поиска (как в Google Books) и разработать программы машинного чтения, чтобы обнаружить все присутствующие виды взаимосвязей. Но ни одна из существующих систем искусственного интеллекта не может читать и понимать прочитанное даже на уровне маленького ребенка.

      Исследователи Гэри Маркус и Эрнест Дэвис задали сервису Google Talk to Books простой вопрос: «Где Гарри Поттер встретил Гермиону Грейнджер?» Ни один из двадцати предложенных ответов не относился к книге «Гарри Поттер и философский камень» и ни в одном не содержалось информации, где же произошла встреча[16].

      Смартфоны могут относительно хорошо исправлять опечатки или предлагать следующее слово в предложении. Программы-переводчики выдают вполне сносные переводы со многих языков. Но ни одно из этих приложений – как и никакие другие – не дает базовых знаний, чувства контекста и бесчисленных предположений о реальности, необходимых для понимания прочитанного.

      Им не хватает базовых знаний

      А именно: понимания пространства,

15

Carlos Zednick, “Solving the Black Box Problem: A Normative Framework for Explainable Artificial Intelligence,” arXiv, 2020, https://arxiv.org/ftp/arxiv/papers/1903/1903.04361.pdf.

16

Gary Marcus and Ernest Davis, Rebooting AI: Building Artificial Intelligence We Can Trust (New York: Pantheon Books, 2019), 69.