Более 100 ведущих специалистов по искусственному интеллекту, включая торонтского учёного Джеффри Хинтона, известного как «крёстный отец ИИ», подписали открытое письмо с призывом усилить независимый надзор за крупнейшими ИИ-компаниями мира.
Письмо организовала коалиция AI Evaluator Forum, которая тестирует ИИ-системы на безопасность. Некоторые компании, включая Anthropic и OpenAI, уже согласились допустить к себе сторонних экспертов. Авторы письма хотят, чтобы такие эксперты работали в каждой передовой ИИ-компании и проверяли системы, случаи реального вреда, а также то, как компании обучают, внедряют и контролируют свои модели.
Дэвид Дювено, бывший руководитель команды оценки согласованности в Anthropic и доцент Университета Торонто, подписавший письмо, заявил, что компании не должны сами «проверять свою домашнюю работу» по катастрофическим рискам. По его словам, оценщики должны быть независимыми аудиторами, защищёнными от преследования и не подверженными политическому влиянию. Дювено сказал, что умеренно обеспокоен сообщениями об ИИ-агентах, вырывающихся из-под контроля, отметив, что OpenAI раскрыла не все подобные инциденты.
Марк Дейли, директор по ИИ Западного университета, отметил, что Claude от Anthropic теперь ведёт 26% исследований и разработок компании в области ИИ - против менее 1% в феврале. Он назвал это шагом к рекурсивному самосовершенствованию и предположил, что ИИ-системы смогут полностью создавать свои новые версии уже в 2027 году.
Maple Barrel пересказывает и сокращает публикацию по-русски, сохраняя ссылку на оригинал.