Один потенциальный побочный эффект ИИ? Вымирание человечества

Люди плохо предсказывают будущее. Где наши летающие машины? Почему нет роботов-дворецких? И почему я не могу провести отпуск на Марсе?

Но мы не просто ошибались в своих прогнозах о том, что как мы думали, должно произойти. Человечество имеет долгую историю ошибочного самоубеждения в том, что некоторые неизбежные реальности никогда не произойдут. За день до того, как Лео Силард изобрел цепную ядерную реакцию в 1933 году, великий физик Эрнест Резерфорд заявил, что любой, кто пропагандирует атомную энергию, «болтает вздор». Даже пионер компьютерной индустрии Кен Олсен в 1977 году сказал, что не предвидит того, что люди будут использовать компьютер в своем доме.

Очевидно, что мы живем в ядерном мире, и у вас, вероятно, сейчас есть компьютер или два на расстоянии вытянутой руки. На самом деле, именно эти компьютеры — и экспоненциальный прогресс в вычислительной технике в целом — сейчас являются предметом самых важных прогнозов в обществе. Принято считать, что постоянно растущая вычислительная мощность будет благом для человечества. Но что, если мы снова ошибаемся? Может ли вместо этого искусственный сверхразум причинить нам большой вред? Привести к нашему исчезновению?

Как учит история, никогда не говори никогда.

Кажется, лишь вопрос времени, когда компьютеры станут умнее людей. Это один прогноз, в котором мы можем быть достаточно уверены, потому что мы уже видим его осуществление на порактике. Многие системы достигли сверхчеловеческих способностей в определенных задачах, таких как игра в Scrabble, шахматы и покер, где люди теперь регулярно проигрывают ботам по всем направлениям.

Но достижения в области информатики приведут к системам с все более общим уровнем интеллекта: алгоритмам, способным решать сложные задачи в нескольких областях. Представьте себе единый алгоритм, который может победить гроссмейстера, а также написать роман, сочинить запоминающуюся мелодию и проехать на машине по городскому потоку.

Согласно опросу экспертов, проведенному в 2014 году, к 2050 году существует 50-процентная вероятность того, что «машинный интеллект человеческого уровня» будет достигнут, а к 2075 году — 90-процентная вероятность. Явная цель создания искусственного общего интеллекта — ступеньки к искусственному сверх интеллекту (ИСИ), который не только будет работать так же хорошо, как люди, во всех областях, представляющих интерес, но и намного превзойдет наши лучшие способности.

Успех любого из этих проектов стал бы самым значительным событием в истории человечества. Внезапно к нашему виду присоединится нечто более разумное, чем мы. Преимущества легко представить: ИСИ может помочь вылечить такие заболевания, как рак и болезнь Альцгеймера, или очистить окружающую среду.

Но аргументы в пользу того, почему ИСИ может нас уничтожить, тоже веские.

Наверняка ни одна исследовательская организация не стала бы разрабатывать злонамеренный ИСИ в стиле Терминатора, одержимого идеей уничтожения человечества? К сожалению, это никого не беспокоит. Все считают, что если нас всех уничтожит ИСИ, это почти наверняка произойдет случайно.

Поскольку когнитивные архитектуры ИСИ могут фундаментально отличаться от наших, они, пожалуй, самая непредсказуемая вещь в нашем будущем. Рассмотрим те ИИ, которые уже побеждают людей в играх: в 2018 году один алгоритм, играющий в игру Atari Q*bert, выиграл, воспользовавшись лазейкой, «которую, как считается, ни один игрок-человек… никогда не обнаруживал». Другая программа стала экспертом в цифровой игре в прятки благодаря стратегии, которую «исследователи никогда не ожидали».

Если мы не можем предвидеть, что будут делать алгоритмы, играющие в детские игры, как мы можем быть уверены в действиях машины с навыками решения задач, намного превосходящими человеческие? Что, если мы запрограммируем ИСИ на установление мира во всем мире, и он взломает правительственные системы, чтобы запустить каждое ядерное оружие на планете, полагая, что если не будет людей, войны больше не будет? Да, мы могли бы явно запрограммировать его так, чтобы он этого не делал. Но как насчет его плана Б?

На самом деле существует бесконечное количество способов, которыми ИСИ может «решать» глобальные проблемы, имеющие катастрофически плохие последствия. При любом заданном наборе ограничений на поведение ИСИ, какими бы исчерпывающими они ни были, умные теоретики, использующие свой просто «человеческий» интеллект, часто могут найти пути, по которым все идет очень неправильно; Вы можете поспорить, что ASI мог бы придумать больше.

А что касается отключения деструктивного ИСИ — достаточно интеллектуальная система должна быстро осознать, что один из способов никогда не достичь поставленных перед ней целей — перестать существовать. Логика подсказывает, что он делает все возможное, чтобы мы не отключили его.

Неясно, будет ли человечество когда-либо готово к сверхразуму, но сейчас мы точно не готовы. При всей нашей глобальной нестабильности и все еще зарождающемся понимании технологий добавление ASI было бы равносильно зажиганию спички рядом с фабрикой фейерверков. Исследования в области искусственного интеллекта должны замедлиться или даже приостановиться. И если исследователи не примут это решение, правительства должны сделать это за них.

Некоторые из этих исследователей прямо отвергли опасения, что продвинутый искусственный интеллект может быть опасен. И они могут быть правы. Может оказаться, что всякое предостережение — это просто «болтовня», а ИСИ совершенно безобиден — или даже совершенно невозможен. Ведь я не могу предсказать будущее.

Проблема в том, что они тоже не могут.