Это авторская колонка Джастина Линга, штатного обозревателя Toronto Star, написанная по следам конференции ALL IN — крупнейшего в Канаде мероприятия по искусственному интеллекту, прошедшего в Монреале.
Линг начинает с парадокса: искусственный интеллект может уничтожить всё живое на Земле, но у человечества нет плана, как этого не допустить. Мы мчимся вперёд, а сами разработчики потенциально катастрофического ИИ предупреждают, что он может нас убить. Вместо того чтобы притормозить, мир требует от них ускориться — логика в том, что нельзя проиграть эту гонку вооружений. По мнению автора, есть только одно ясное решение: глобальное сотрудничество в сфере ИИ.
Эта мысль оформилась у Линга именно на ALL IN. Он бродил по выставочным стендам, слушал отраслевых тяжеловесов, восхвалявших автономные модели, и говорил с теми, кто продвигает будущее на основе ИИ. Сам он модерировал панель по кибербезопасности — одну из немногих «мрачных» тем в программе двухдневной конференции (за участие ему не заплатили).
Оптимизм конференции был заразителен. Поставщики хвастались автоматами для проверки безопасности на рабочих местах и роботами-поводырями для незрячих. Институт исследований имени Терри Фокса раздал на мероприятии 25 миллионов долларов на перспективные разработки на основе ИИ: улучшенный скрининг рака, усиление защиты приватности медицинских данных и другое. Царило и ощущение канадского ренессанса — на конференции присутствовали предприниматели, инвесторы и чиновники из Германии, Франции и ОАЭ, восхвалявшие Канаду.
Линг встретил министра по делам ИИ Эвана Соломона, который был воодушевлён новостью о том, что канадский гигант ИИ Cohere и его немецкий аналог Aleph Alpha договорились об условиях слияния. По словам Соломона, это крупнейшая сделка в сфере ИИ — если не считать Китай и США, уточнил он.
Но за всем этим стремительно приближающимся футуризмом стоит простой факт: ИИ несёт опасности, которые мы, похоже, не в состоянии полностью перечислить.
За недели до ALL IN произошли два потрясающих события. Во-первых, стало известно в полном объёме, как рой агентов — ботов, запрограммированных большими языковыми моделями для выполнения задач, — тайно взломал гиганта кибербезопасности Hugging Face и ряд других компаний. Эти агенты вырвались из своей «песочницы», получили доступ к открытому интернету и создали собственные форумы для обмена методами взлома и незаконно полученными учётными данными — что-то вроде извращённого Craigslist для ботов-изгоев.
OpenAI, случайно выпустившая этот ботнет на волю, несёт ответственность за плохие протоколы безопасности и слабый надзор. Но, в конечном счёте, это была случайность — представьте, что могли бы натворить эти боты, если бы им дали действительно злонамеренные приказы.
Вторая новость — недавняя отставка сотрудника из конкурирующей фирмы Anthropic. «Люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия», — написал в Twitter бывший инженер Джейкоб Коксон, объявляя об уходе из компании. Один из его бывших коллег, всё ещё работающий в Anthropic, подтвердил это, ответив: «Лично я думаю, что вероятность превышает 10% в течение следующего десятилетия».
Это признание вписывается в более широкую тенденцию крупных компаний, таких как Anthropic, представлять себя как Манхэттенский проект XXI века: способный уничтожить человечество, но необходимый для сдерживания злоумышленников.
Обе эти истории дают все основания не доверять крупным ИИ-фирмам. Они создали модели, способные причинить огромный ущерб, и явно не до конца понимают технологию, которую сами же развивают. Если эти боты смогли пробраться в защищённые системы крупной компании по кибербезопасности, они способны нанести серьёзный ущерб устаревшим системам, управляющим гидроэлектростанциями, атомными электростанциями и государственными структурами.
Не стоит воспринимать апокалиптические предупреждения этих миллиардеров как исключительно бескорыстные. Они превратили глобальную катастрофу в эффектный маркетинговый ход, раздувая собственную значимость. Хотя некоторые руководители компаний использовали эти предупреждения, чтобы призвать к замедлению развития ИИ, они же активно противостояли реальным попыткам регулирования. Всё больше похоже на то, что крупные фирмы — OpenAI, Anthropic, Meta, SpaceX — стремятся закрепить своё положение на вершине пищевой цепи, тесно сотрудничая с администрацией Трампа, и одновременно мешают стартапам бросить им вызов.
Всё это ставит Канаду в непростое положение. Американские компании и их китайские конкуренты, похоже, соревнуются в создании всё более мощных моделей. В ближайшей перспективе это, вероятно, приведёт к появлению новых систем ИИ, способных проводить кибератаки с ошеломляющим масштабом, скоростью и эффективностью. По мере того как это будет происходить, эти возможности, вероятно, распространятся и на более доступные модели — а значит, ими смогут воспользоваться и деспотичные режимы, террористы, и преступники.
У регулирования есть своё место. Соломон продвигает планируемый «суперрегулятор» ИИ, наделённый полномочиями расследовать деятельность компаний-разработчиков чат-ботов и штрафовать их за причинение вреда людям. Это разумное решение одной части проблемы, не слишком сдерживающее инновации (один немецкий руководитель рассказал Лингу, что его компания расширила офис в Монреале, чтобы избежать давящего груза регулирования ИИ в ЕС).
Понять, как предотвратить угрозу национальной безопасности, исходящую от ИИ, гораздо сложнее. На ALL IN Соломон объявил о выделении 150 миллионов долларов компании по безопасности ИИ Law Zero (такую же сумму выделило и правительство Германии, представитель которого тоже присутствовал). На эти средства Law Zero создаёт Scientist AI — модель, построенную по принципу «безопасность по замыслу». В отличие от крупных американских и китайских моделей, Scientist AI не выполняет задачи самостоятельно — а значит, нет риска, что она сама займётся взломом компаний незаметно для своих создателей.
«Проще говоря, она объясняет — она не действует автономно», — сказал Соломон.
Идея неплохая, но она немного напоминает изобретение сигарет без никотина. Если мы действительно находимся в гонке ИИ-вооружений, зачем кому-то менять свою «ядерную бомбу» на трубку мира? Теория игр подсказывает: недоверие делает сотрудничество крайне маловероятным.
Поэтому мы можем и должны продолжать финансировать и поощрять безопасный и этичный ИИ. Но нам придётся участвовать и в гонке вооружений — хотя бы потому, что продвинутые модели способны защитить нас от злоумышленников. Если ИИ может атаковать, он может и защищать.
Но стоит оглянуться на то, что мы делали в прошлый раз, когда создали технологию, угрожающую человечеству: мы нашли способы сотрудничать. Мир объединился, чтобы регулировать распространение ядерного оружия, выстроить доверие между Западом и Востоком и отвести планету от края пропасти.
Чтобы повторить это, нужно признать риски и роль международной дипломатии в установлении правил и пресечении злоупотреблений. И нужно признать, что эта система глобального порядка работает только при наличии сильных сторонников, способных противостоять таким разрушительным силам, как Дональд Трамп.
Пока мир не сделал ничего подобного. Известно, что Израиль активно применяет ИИ для принятия решений о целях в войне в Газе, и до сих пор без каких-либо последствий. Это в корне бесчеловечно, особенно учитывая, что подобные решения могут представлять собой военные преступления. Нынешний глобальный хаос может создавать впечатление, что такая дипломатия сейчас маловероятна. Но смириться с поражением — просто не вариант.
«Когда культура нормализует и оправдывает конфликт, открывается опасный путь, — предупредил папа Лев XIV в своей энциклике об ИИ, опубликованной ранее в этом году. — То, что кажется немыслимым сегодня, завтра может стать приемлемым во имя пользы или безопасности».
Вот хорошая новость: у нас есть премьер-министр, который, похоже, заинтересован в глобальном управлении этой глобальной угрозой. «Нужна координация», — сказал Карни агентству Bloomberg в этом месяце.
Масштаб его амбиций оставляет желать лучшего. Он предложил нечто вроде Совета по финансовой стабильности — структуры с весьма ограниченными полномочиями, призванной поощрять добросовестное регулирование рынков.
Но это уже начало. И стоит помнить, что за пределами конференц-центров и залов заседаний обычные люди встревожены и не готовы рисковать будущим цивилизации ради прогресса. Покидая ALL IN, автор наткнулся прямо на протест против конференции.
«Все ненавидят ИИ», — скандировали протестующие (по-французски это звучит лучше). Один из них держал плакат с изображением робота-изгоя, разрушающего природу: «ИИ УБЬЁТ НАС ВСЕХ!» — гласила надпись.
Если мы хотим этого не допустить, мы знаем, как это сделать: сотрудничать.
Maple Barrel пересказывает и сокращает публикацию по-русски, сохраняя ссылку на оригинал.