Корпоративные ИИ-агенты могут работать с внутренними данными, приложениями и инструментами компаний, поэтому Microsoft предлагает контролировать их действия с той же скоростью, с какой они выполняют задачи. 19 октября компания сообщила, что расширяет Project Perception: теперь проект должен помогать защищать организации от рисков, связанных с самими агентами.
Надзор за агентами в корпоративных системах
В Microsoft подчёркивают: речь не о том, что каждый ИИ-агент опасен. Риск возникает, когда системе дают доступ к важным ресурсам, а её поведение меняется вместе с контекстом и входными данными. Агент может ошибиться, подвергнуться манипуляции или быть скомпрометированным.
Для наблюдения за такими системами компания развивает Guardian Agents. Они должны помогать службам безопасности непрерывно выявлять изменения в рисках и реагировать на них. Это важно, поскольку автоматизированные агенты способны действовать без перерывов и выполнять задачи быстрее, чем человек успеет вручную проверить каждое предупреждение.
Полномочия должны быть отделены от модели
Глава Microsoft Сатья Наделла ранее сформулировал принцип, на котором, по его мнению, должна строиться защита: модель не должна сама определять границы собственных полномочий. Решения о доступе к данным, разрешённых действиях и продолжении работы следует поручать внешним механизмам контроля, которые агент не может отключить или изменить.
В описании проекта компания также указывает на необходимость обнаруживать всех используемых агентов, закреплять за ними идентичность и ограничивать доступ необходимыми ресурсами. Для работы в контролируемой среде Microsoft предлагает применять изолированные контейнеры и другие средства, позволяющие наблюдать за агентом вне его контроля. Подробности о системе контроля и реестре агентов опубликованы в блоге компании.
Почему важна скорость реакции
Если агент получает чрезмерные права, его ошибка или компрометация может быстро затронуть корпоративные системы. Поэтому Microsoft предлагает выстраивать защиту не только вокруг самого ИИ, но и вокруг его идентичности, доступов и среды выполнения. Guardian Agents должны работать в заданных людьми границах, помогая масштабировать наблюдение за автоматизированными системами.
