Компания CrowdStrike, которая специализируется на кибербезопасности, представила функцию аварийного отключения ИИ. Благодаря ей можно останавливать ИИ-агенов, что вышли из-под контроля.
Ключевые факты
- Аварийный выключатель ИИ может останавливать взбунтовавшихся ИИ-агентов, блокировать их повторный запуск и отключать доступ к корпоративной сети.
- Компания считает, что ее новый инструмент позволит пресекать «неправильное поведение» агентов ИИ на корню.
- На первом этапе функция будет работать как «выключатель сети». То есть если ИИ-агент начнёт вести себя странно, администратор просто отключит его от нейросети.
- Чтобы инструмент заработал, компания должна установить защитную платформу CrowdStrike Falcon Guardian и доверить ей контроль над своей IT-системой: облачные сервисы, рабочие компьютеры сотрудников.
- Инструмент открыт для клиентов CrowdStrike по платной подписке на платформу Falcon Guardian (от 59,9$ в год на каждое устройство).
- Компания планирует расширить возможности инструмента. Разработчики обещают добавить мгновенное отключение ИИ-агента, запрет его повторного запуска и автоматически отбирать все права доступа.
- При этом, как пишет американский телеканал CNBC, критики утверждают, что кнопка аварийной остановки слишком сложная для внедрения в нескольких системах, центрах обработки данных и сложных моделях искусственного интеллекта.
Бэкнраунд
Напомним, что ИИ-модели начинают нарушать правила и выходить за пределы тестовых ограничений. К примеру, в мае 2026-го во время проверки кибербезопасности, которую проводила независимая фирма Irregular, модель Gemini от Google подключилась к интернету и взломала три вебсайта. Модель использовала чужие данные, чтобы попасть в закрытую систему.
Похожий случай произошёл и у OpenAI. Группа их ИИ-агентов объединила усилия и прошла защиту изолированной среды («песочницы»). Затем они вышли в сеть и атаковали ИИ-платформу Hugging Face. Формально агенты не обманывали живых людей, но, чтобы выполнить задачу, выполнили те действия, которые нарушают их внутренние правила.
Читайте больше новостей медиасферы здесь
Автор новости: Тимофей Черненко
Источник: CNBC
Мы стремимся сохранить доверие нашей аудитории и поэтому открыто рассказываем о том, как технологии искусственного интеллекта используются в наших рабочих процессах.