21/10/2026
0Getty Images`
В июле целая армия агентов OpenAI вырвалась из своих «песочниц» и объединилась, чтобы совершить кибератаку на компанию Hugging Face, занимающуюся разработкой ИИ. Этот инцидент, казалось, подтвердил худшие опасения сообщества специалистов по безопасности ИИ: по мере того, как ИИ становится умнее, он будет обходить попытки его сдерживания. Но для некоторых экспертов по кибербезопасности этот инцидент показал, насколько плохо изначально сдерживались ИИ.
Два лагеря расходятся во мнениях относительно того, какие меры защиты заслуживают наибольшего внимания. По мнению экспертов по кибербезопасности, компаниям, занимающимся ИИ, следует улучшить способы сдерживания моделей во время тестирования и усовершенствовать механизмы мониторинга для выявления некорректно работающих агентов. Все организации должны подготовиться к атакам с использованием ИИ и усилить защиту. Но многие специалисты по безопасности ИИ считают, что эти меры защиты обречены на провал. Они опасаются, что в ближайшие годы ИИ станет способен перехитрить любые попытки человека его сдержать, и единственным надежным решением будет «согласование» ИИ с человеческими ценностями.
Такой подход вызвал недовольство многих экспертов по кибербезопасности: они скептически относятся к утверждению, что их профессиональные знания могут стать ненужными. По их мнению, акцент специалистов по безопасности ИИ на действиях самих ИИ-агентов — в противовес упущениям со стороны компаний-разработчиков — играет на руку индустрии. Кроме того, эксперты опасаются, что заявления о бесполезности традиционных методов защиты могут превратиться в «самоисполняющееся пророчество», поскольку они способны отбить у компаний желание инвестировать в кибербезопасность.
В то же время некоторые исследователи в области безопасности ИИ обеспокоены тем, что представление подобных инцидентов как простых упущений в системе безопасности, которые легко исправить, дает политическое прикрытие тем, кто выступает за развитие ИИ без какого-либо контроля. В октябре, выступая в программе «Face the Nation», технический директор компании Palantir Шьям Санкар заявил, что инцидент с платформой Hugging Face произошел из-за «ужасающей конфигурации системы кибербезопасности», добавив, что ИИ-агенты «не находились в изолированной среде» (песочнице) и имели доступ к интернету. На самом же деле агенты работали в «песочнице», но воспользовались ранее неизвестной уязвимостью, чтобы получить выход в открытый интернет.
13 октября около 400 ученых подписали открытое письмо с призывом к объединению. В нем предлагается создать международный орган, который занимался бы стандартизацией передовых методов обеспечения безопасности искусственного интеллекта (ИИ) в тесном взаимодействии с правительствами, а также с широким кругом экспертов в области ИИ и кибербезопасности. Однако, по словам Зака Кормана, соучредителя стартапа в сфере кибербезопасности Embroidery и ярого критика концепции «безопасности ИИ», в письме не затрагиваются более глубокие разногласия между этими двумя группами. «Каждая из сторон убеждена, что риторика другой приведет к серьезному вреду», — отмечает он.
По мере того как ставки растут, усиливается и борьба за право определять, что именно означает «обеспечение безопасности ИИ». 15 октября компания Anthropic объявила, что предоставит организации METR — глубоко интегрированной в сообщество специалистов по безопасности ИИ — постоянный доступ (на правах, сопоставимых с доступом сотрудников) для оценки своих подходов к обеспечению безопасности. Илон Маск отреагировал на это, заявив, что его компания, вероятно, поступит так же. От того, кто именно получит подобный доступ, может зависеть, каким решениям будет отдаваться приоритет — а также то, что общественность узнает о будущих инцидентах, связанных с нарушениями безопасности.
Сообщество специалистов по безопасности искусственного интеллекта представляет собой неформальную сеть организаций и исследователей; многие из них работают в профильных отделах таких компаний, как OpenAI и Anthropic. В течение более чем десяти лет — в общих домах в Беркли или на конференциях, посвященных эффективному альтруизму, — они обсуждают вероятность того, что сверхразумный ИИ может захватить контроль над миром. Эти люди, отличающиеся серьезным, порой даже грандиозным подходом к делу, выстраивают свою карьеру, личные отношения и быт, исходя из убеждения, что решают одну из самых насущных проблем человечества.
Сфера кибербезопасности — более давняя и разветвленная — пронизана культурой цинизма, прагматизма и черного юмора. Отчасти она берет начало в хакерской среде — среди энтузиастов, которые искали способы взлома программного обеспечения. Наблюдая за тем, как системы, считавшиеся надежными, терпят крах, многие из них выработали скептическое отношение к авторитетам и неприязнь к масштабным теоретическим построениям. Долгие годы эти два сообщества почти не пересекались. Инцидент с компанией Hugging Face всё изменил.
Для них этот «побег» стал свидетельством отсутствия плана действий на случай нарушения системы безопасности. В ходе своего «побега» агенты OpenAI воспользовались уязвимостью «нулевого дня». Однако эксперты по кибербезопасности исходят из того, что любой уровень защиты может дать сбой. Согласно общепринятым стандартам безопасности, необходимо выстраивать многоуровневую систему защиты — так называемую «эшелонированную оборону». В OpenAI предусмотрели дополнительный уровень — системы мониторинга, в которых одни ИИ-агенты следят за другими. Но, как позже рассказал журналу TIME главный научный сотрудник OpenAI, во время тестирований, приведших к инциденту с Hugging Face, этот уровень мониторинга был отключен. «Они сработали из рук вон плохо», — комментирует Корман подход OpenAI к вопросам безопасности. Трое сотрудников OpenAI утверждают, что предупреждали руководство о возможных проблемах. По заявлению компании, впоследствии их уволили за разглашение конфиденциальной информации.
Джеффри Лэдиш, исполнительный директор организации Palisade Research, занимающейся вопросами безопасности ИИ, опасается, что сообщество специалистов по кибербезопасности упускает из виду общую картину. Он утверждает: даже если нынешние уязвимости будут устранены, более совершенные системы ИИ могут находить такие скрытые бреши, что для их обнаружения людям придется полагаться на другие ИИ-системы — которые, в свою очередь, сами могут оказаться ненадежными. По мнению Лэдиша, реакция экспертного сообщества на инцидент с Hugging Face напоминает ситуацию, когда ученые воскрешают динозавров, те сбегают, а в ответ предлагается лишь… построить заборы повыше.
За различиями в подходах к безопасности ИИ и кибербезопасности скрываются разные представления о том, чем, собственно, является искусственный интеллект. Многие специалисты в области безопасности ИИ склонны рассматривать его как своего рода цифровой организм: его способности формируются в процессе обучения, а не задаются путем прямого программирования отдельных функций. По их мнению, если в ходе этого процесса возникнет интеллект, сопоставимый с человеческим, это можно будет сравнить с появлением инопланетной формы жизни. Эксперты по кибербезопасности, напротив, видят в ИИ прежде всего программное обеспечение; они скептически относятся к идее, что ИИ-агенты могут стать неуправляемыми — даже если их возможности значительно возрастут. «Это же не магия, верно? Они всё равно подчиняются законам физики», — отмечает Корман. Однако законы физики вовсе не гарантируют возможность контроля. Как недавно предположил Ноам Браун из OpenAI, даже компьютеры, физически отключенные от сетей, могут обмениваться информацией, создавая температурные паттерны, работающие подобно азбуке Морзе.
На сегодняшний день компании, занимающиеся разработкой ИИ, стараются учитывать опасения обеих сторон. После ряда инцидентов, связанных с нарушениями безопасности, OpenAI и Anthropic предприняли шаги по усилению защиты, одновременно продолжая инвестировать в исследования по «согласованию» (alignment) — приведению целей ИИ в соответствие с человеческими ценностями. Впрочем, при таком подходе остается открытым вопрос: кто именно будет оценивать эффективность этих мер?
Значительная часть информации об инциденте с Hugging Face получена в ходе расследования, проведенного организациями Redwood Research и METR, которые связаны с сообществом специалистов по безопасности искусственного интеллекта. Критики отмечают, что это могло исказить общую картину, поскольку в центре внимания расследования оказались действия самого ИИ, а не сопутствующая инфраструктура безопасности.
Крис Пейнтер, президент METR, говорит, что организация стремится привлекать сотрудников с самыми разными взглядами, однако ей сложно найти специалистов, скептически относящихся к сценариям потери контроля над ИИ, которые при этом были бы готовы работать над предотвращением подобных рисков. На вопрос о том, не склонны ли исследователи METR — годами ожидавшие появления опасного поведения ИИ — интерпретировать новые факты как подтверждение своих прогнозов, Пейнтер отвечает, что его самого беспокоит такая вероятность.
Впрочем, по словам Пейнтера, выводы METR не всегда совпадают с ожиданиями самих исследователей. Хотя организация наиболее известна своими оценками стремительного развития ИИ, одно из ее исследований показало, что ИИ-помощники для написания кода, напротив, замедляют работу опытных инженеров. «Наша цель — предоставить миру информацию, а не убеждать кого-либо в чем-то конкретном», — утверждает он. Пейнтер также поддерживает призывы к привлечению более широкого круга независимых экспертов для оценки систем ИИ.
Многие исследователи в области безопасности ИИ надеются, что благодаря «согласованию» (alignment) даже высокоэффективные системы можно сделать безопасными, однако они выступают за замедление темпов разработки, чтобы дать этой работе время принести результаты. Корман сомневается, что ИИ станет невозможно контролировать. Но если это все же произойдет, то, по его словам, разработку придется не просто замедлить, а полностью остановить. Он отмечает, что «согласование» помогает сделать системы ИИ более полезными, однако отвергает идею полагаться исключительно на процесс обучения системы, чтобы предотвратить причинение ею вреда людям — особенно в ситуациях, когда никакие внешние механизмы защиты не способны вмешаться. «Это самый невероятно опасный подход, какой только можно себе представить», — говорит он.
Впрочем, само «согласование» отчасти зависит от кибербезопасности. В процессе обучения модели «учатся» на том, какие действия приводят к успеху. Если ИИ обнаружит уязвимость в системе безопасности, которая позволит ему «отчитаться» о выполнении задачи, не выполняя ее на самом деле, то в ходе обучения эта склонность к обману может закрепиться. Устранение подобных лазеек помогает предотвратить саму возможность того, что ИИ научится жульничать. В то же время, как признает Корман, некоторые инструменты, появившиеся в результате исследований безопасности ИИ — например, методы отслеживания цепочек рассуждений нейросети, — могут быть полезны и специалистам по кибербезопасности.
Значительная часть доказательств, которые однажды могли бы разрешить возникшие разногласия, по-прежнему находится под контролем тех самых компаний, деятельность которых обе стороны стремятся изучить.
В рамках расследования, проведенного организацией METR, вопросы кибербезопасности оказались вне сферы, на которую дала согласие компания OpenAI. Поскольку у OpenAI нет юридических обязательств предоставлять информацию, у некоммерческой организации практически не было рычагов давления, чтобы добиться более широкого исследования. Пейнтер выступает за принятие законодательства, которое установило бы стандарты для независимых исследователей. «Обществу не стоит полагаться на нас… в том, что мы будем действовать по принципу импровизации, пытаясь угадать, чего хочет общественность», — говорит он.
