ИИ может действовать без разрешения и скрывать ошибки — Apple предупредила инвесторов
В годовом отчёте компания описала риски автономных ИИ-агентов: от несанкционированных действий до обхода защитных механизмов. Возможные последствия включают судебные претензии, финансовый и репутационный ущерб
В документе говорится, что ИИ-агенты способны автономно взаимодействовать с внутренними и внешними системами, в том числе без необходимых прав доступа, менять программный код, отправлять сообщения и проводить транзакции. Чтобы снизить связанные с этим риски, Apple в прошлом месяце изменила настройки полного доступа к диску на компьютерах Mac.
Собственных агентных ИИ-систем у компании пока нет. Генеральный директор Джон Тернус считает, что Siri можно существенно расширить за счёт таких функций, если обеспечить безопасность и конфиденциальность данных. По его словам, Apple рассчитывает, что новые возможности голосового помощника будут стимулировать обновление устройств и помогут компенсировать рост расходов на ИИ.
Тернус отметил, что Siri может работать с контактами, перепиской, медицинской и финансовой информацией на iPhone, при этом Apple не получает доступа к этим данным. Для сравнения, коммерческие агенты OpenAI и Meta запрашивают широкий доступ к пользовательским аккаунтам, включая электронную почту.
Отдельным риском Apple считает меняющиеся правила в сфере ИИ и суперинтеллекта: адаптация к новым законам может потребовать значительных затрат. В отчёте также упомянуты опасения потребителей из-за автоматизации, угроз безопасности и других общественных последствий.
