Как мы учимся. Почему мозг учится лучше, чем любая машина… пока. Станислас Деан

и на лету восклицает: «Пока все хорошо!» – сеть «актор – критик» обретает невероятную прозорливость: способность предсказывать, какие партии скорее всего будут выиграны, а какие неизбежно закончатся катастрофой.

      Комбинация «актор – критик» – одна из самых эффективных стратегий современного искусственного интеллекта. При поддержке иерархической нейронной сети она буквально творит чудеса. Еще в 1980-х годах эта система выиграла чемпионат мира по нардам, а недавно позволила DeepMind создать многофункциональную нейронную сеть, способную играть в разного рода видеоигры вроде Super Mario или Tetris10. Достаточно задать пиксели изображения в качестве входных данных, возможные действия в качестве выходных данных и очки в качестве функции вознаграждения. Всему остальному машина научится сама. Играя в Tetris, она обнаружит, что на экране отображаются разные фигуры, что падающая фигура важнее остальных, что те или иные действия могут изменить ее ориентацию и положение в пространстве и так далее, – а затем выработает оптимальную тактику. В Super Mario изменения входных данных и вознаграждений учат машину обращать внимание на совершенно иные параметры: какие пиксели образуют тело Марио, как он движется, где находятся враги, как выглядят стены, двери, ловушки, бонусы… и как себя вести рядом с ними. Регулируя свои настройки – то есть миллионы связей, соединяющих слои, – сеть может адаптироваться ко всем типам игр и научиться распознавать формы Tetris, Pac-Man

      Примечания

      1

      Оскар Рибейру ди Алмейда ди Нимейер Суарис Филью (1907–2012) – латиноамериканский архитектор XX века, один из основателей современной школы бразильской архитектуры. (Прим. перев.)

      2

      В современной переводной литературе английский термин circuit переводится по-разному – «сеть», «цепь», «связь», «ансамбль», «контур», «комплекс», «система», «путь» и пр., хотя для всех этих структур в английском языке существуют свои термины. В настоящей книге мы будем использовать вариант «нейронная сеть», понимая под ней совокупность живых нейронов, соединенных друг с другом через синапсы и выполняющих общую функцию. (Прим. перев.)

      3

      Homo docens (лат.) – букв. Человек обучающий. (Прим. перев.)

      4

      На данный момент в науке нет однозначной точки зрения на этот счет. Ряд авторов предполагает, что активно обучают своих детенышей как минимум некоторые виды млекопитающих; возможно, и другие животные. См., например: Alem, S., Perry, C. J., Zhu, X., Loukola, O. J.,