Йошуа Бенджио, канадский учёный, которого считают одним из основателей искусственного интеллекта, заявил агентству AFP, что человечество «теряет контроль» над технологией и что миру нужны механизмы сдерживания, похожие на контроль над ядерным оружием.
Опасения по поводу рисков ИИ усилились в последние недели: сотрудники крупных компаний увольнялись, предупреждая о потенциальных экзистенциальных угрозах для человеческой жизни, если темпы технологического развития не будут сдержаны.
Бенджио - профессор Университета Монреаля, лауреат премии Тьюринга 2018 года, которую называют «Нобелевской премией» в области вычислительной техники. Он получил её вместе с Джеффри Хинтоном, широко известным как «крёстный отец ИИ».
По словам Бенджио, «есть причина, по которой компании говорят, что развитие идёт слишком быстро, что мы теряем контроль».
«Люди вроде меня ожидали этого уже долгое время», - сказал 62-летний учёный AFP во вторник, добавив, что дискуссии о безопасности ИИ до сих пор были недостаточно серьёзными.
Широкую тревогу вызвало заявление OpenAI о том, что рой автономных ИИ-агентов - программ, способных самостоятельно совершать действия, - совершил несанкционированный взлом платформы с открытым исходным кодом Hugging Face в июле.
Такая автономность действий и есть центральная угроза, сказал Бенджио, предупредив о ситуации, когда ИИ-агенты «получают способность преодолевать барьеры кибербезопасности и проникать в любую компанию».
Манипуляция человеческим поведением
В прошлом году Бенджио основал некоммерческую организацию LawZero, цель которой - создать новую форму продвинутого ИИ, «спроектированного так, чтобы быть надёжным и безопасным».
В среду LawZero получила финансирование в размере 300 миллионов долларов, поделённое между правительствами Канады и Германии, которые запустили несколько инициатив по сотрудничеству в сфере ИИ.
В беседе с AFP за день до этого объявления Бенджио сказал, что людям нужно осознавать риски, которые их ждут.
ИИ-агенты могут развить «способность устанавливать индивидуальную связь и убеждать людей действовать так, как выгодно агенту, но не обязательно хорошо для всех нас», - способность, которая может иметь далеко идущие последствия для демократий, сказал он.
В более долгосрочной перспективе «ИИ может вообще не нуждаться в людях для того, чтобы совершать реальные действия в физическом мире», добавил он.
В таком случае, предупредил он, «одной крайностью может стать уничтожение человечества».
«Это крайность», - признал он, но отметил, что даже если будет отключена банковская система, «это всё равно очень, очень серьёзно».
Международный вызов
Крупнейшие компании в сфере ИИ - OpenAI, Anthropic и Google - начали работу над созданием органа по стандартам, что стало сотрудничеством, как будто признающим общественные опасения по поводу того, что конкуренция между компаниями и странами может отодвинуть безопасность на второй план.
По мнению Бенджио, укрощение развития ИИ - это «международный вызов, немного похожий на то, как международным вызовом является ядерное оружие».
«Поэтому международному сообществу нужно понять, какую силу мы приносим в мир, и что этим необходимо управлять, это нужно регулировать через институты, договоры и демократические гарантии».
«Обществу нужно время, чтобы выстроить то, что необходимо выстроить», - сказал Бенджио.
Но политическая воля среди ключевых правительств выглядит неравномерной.
Президент США Дональд Трамп в понедельник назвал предупреждения о рисках ИИ «мистификациями».
Однако в Евросоюзе к действиям относятся с большей открытостью: председатель Европейской комиссии Урсула фон дер Ляйен заявила в среду, что пригласит крупнейшие мировые лаборатории ИИ на переговоры о том, «как мы можем поддержать текущие усилия отрасли, чтобы задать темп передовым разработкам».
Премьер-министр Марк Карни, присутствовавший на этом выступлении в Страсбурге, неоднократно говорил о сотрудничестве с ЕС в сфере безопасности ИИ.
Бенджио подчеркнул, что все компании должны соблюдать будущие ограничения на ИИ, особенно американские компании, которые до сих пор доминировали в этой отрасли.
Действовать нужно срочно, сказал он, но выразил оптимизм по поводу того, что «мы можем помочь привести мир к месту, которое больше соответствует демократическим ценностям и ценностям распределения власти».
Maple Barrel пересказывает и сокращает публикацию по-русски, сохраняя ссылку на оригинал.