Спасет ли искусственный интеллект человечество — или уничтожит его?

Вкратце

• Онлайн-панель продемонстрировала глубокий разлом между трансгуманистами и технологами по поводу ИИ общего назначения (AGI).
• Автор Элиезер Юдковский предупредил, что современные системы ИИ «черного ящика» делают вымирание неизбежным исходом.
• Макс Море заявил, что задержка с развитием AGI может стоить человечеству его лучшего шанса победить старение и предотвратить долгосрочную катастрофу.

Острый разлом по поводу будущего искусственного интеллекта развернулся на этой неделе, когда четыре известных технолога и трансгуманиста обсуждали, спасет ли создание искусственного общего интеллекта, или AGI, человечество, или же уничтожит его. Панель, организованная некоммерческой организацией Humanity+, собрала одного из самых яростных сторонников «предупреждающих» ИИ — Элиезера Юдковского, который выступает за закрытие разработки продвинутых систем ИИ, вместе с философом и футуристом Максом Море, нейроученым-вычислителем Андерсом Сандбергом и бывшим президентом Humanity+ Наташей Вита-Морэ. Их обсуждение выявило фундаментальные разногласия относительно того, можно ли согласовать AGI с выживанием человека или же его создание сделает вымирание неизбежным. Проблема «черного ящика»

Юдковский предупредил, что современные системы ИИ по своей сути небезопасны, потому что их внутренние процессы принятия решений полностью понять или контролировать невозможно. «Все системы «черного ящика» вероятно столкнутся с проблемами, аналогичными текущим технологиям», — предупредил Юдковский. Он заявил, что человечество должно перейти «очень-очень далеко от текущих парадигм», прежде чем можно будет безопасно разрабатывать продвинутый ИИ.  Искусственный интеллект общего назначения (AGI) — это форма ИИ, которая способна рассуждать и учиться в широком диапазоне задач, а не предназначена для выполнения одной конкретной работы, такой как создание текста, изображений или видео. AGI часто связывают с идеей технологической сингулярности, потому что достижение такого уровня интеллекта может позволить машинам улучшать себя быстрее, чем это делают люди. Юдковский привел аналогию «максимизатора скрепок», популяризированную философом Ником Бостромом, чтобы проиллюстрировать риск. В этом мысленном эксперименте гипотетический ИИ превращает все доступное вещество в скрепки, что подчеркивает его одержимость одной целью в ущерб человечеству. Добавление новых целей, по словам Юдковского, не значительно повысит безопасность.

Обратившись к названию своей недавней книги о ИИ «Если кто-то построит его, все умрут», он сказал: «Наше название не говорит о том, что может это убить вас», — сказал Юдковский. «Наше название — если кто-то построит его, все умрут.» Но Море оспорил предположение, что чрезмерная осторожность — это самый безопасный путь. Он заявил, что AGI может дать человечеству лучший шанс преодолеть старение и болезни. «Самое важное для меня — это то, что AGI может помочь нам предотвратить вымирание каждого человека, живущего из-за старения», — сказал Море. «Мы все умираем. Мы движемся к катастрофе, один за другим». Он предупредил, что чрезмерные ограничения могут подтолкнуть правительства к авторитарным мерам как единственному способу остановить развитие ИИ по всему миру. Сандберг занял позицию между двумя лагерями, описывая себя как «более оптимистичного», но при этом более осторожного, чем трансгуманистические оптимисты. Он рассказал о личном опыте, когда почти использовал большую языковую модель для помощи в разработке биологического оружия, что он назвал «ужасающим». «Мы приближаемся к точке, когда усиление злонамеренных акторов также вызовет огромный хаос», — сказал Сандберг. Тем не менее, он утверждал, что частичная или «приблизительная безопасность» может быть достижима. Он отверг идею, что безопасность должна быть идеальной, чтобы иметь смысл, предполагая, что люди хотя бы могут согласовать минимальные общие ценности, такие как выживание. «Если вы требуете идеальной безопасности, вы ее не получите. И с этой точки зрения это звучит очень плохо», — сказал он. «С другой стороны, я считаю, что мы действительно можем добиться приблизительной безопасности. Это достаточно хорошо.» Скептицизм по поводу согласования Вита-Морэ раскритиковала саму дискуссию о более широком согласовании, утверждая, что эта концепция предполагает уровень консенсуса, которого даже среди долгосрочных соратников не существует. «Идея согласования — это схема Поллианы», — сказала она. «Она никогда не будет согласована. Я имею в виду, даже здесь, мы все хорошие люди. Мы знаем друг друга десятилетиями, и мы не согласованы.»

Она описала утверждение Юдковского о том, что AGI неизбежно убьет всех, как «абсолютистское мышление», не оставляющее места для других исходов. «У меня есть проблема с широким утверждением, что все умрут», — сказала она. «Подходя к этому как футурист и прагматичный мыслитель, это не оставляет никаких последствий, альтернатив или сценариев. Это просто грубое утверждение, и я задаюсь вопросом, отражает ли оно какой-то вид абсолютного мышления.» Обсуждение включало дебаты о том, может ли более тесная интеграция человека и машины снизить риск, связанный с AGI — то, что в прошлом предлагал генеральный директор Tesla Илон Маск. Юдковский отверг идею слияния с ИИ, сравнив это с «попыткой слиться со своим тостером». Сандберг и Вита-Морэ утверждали, что по мере роста возможностей систем ИИ людям потребуется более тесная интеграция или слияние с ними, чтобы лучше справляться с пост-AGI миром. «Вся эта дискуссия — это проверка реальности того, кто мы как человеческие существа», — сказала Вита-Морэ.