Современные ИИ-системы не обладают автономной волей и устойчивыми целями, однако риски, связанные с агентными системами, не следует недооценивать. Об этом заявил учёный Литвинов в беседе с Life.ru.
По его словам, проблема возникает, когда ИИ-агентам предоставляют доступ к API, почте, облачным сервисам, репозиториям и платёжным инструментам. Чрезмерные права в сочетании с ошибочной задачей или вредоносным промптом способны запустить цепочку нежелательных действий.
Литвинов подчеркнул, что такой сценарий связан не с «восстанием машин», а с ошибками проектирования, слабой изоляцией и недостаточным контролем доступа. Он считает, что вместо общего запрета на развитие ИИ необходимы обязательные проверки наиболее мощных моделей, жёсткие ограничения прав агентов, журналирование действий, аварийное отключение и независимый аудит.
Главным вопросом учёный назвал не сроки возможной угрозы, а то, кто контролирует такие системы и насколько быстро их можно остановить.
Ранее мы писали, что США и КНР обсудятриски развития ИИ.
