AI 智能体安全:管住它「能做什么」比管住它「说什么」更重要

AI 智能体安全:管住它「能做什么」比管住它「说什么」更重要

为什么智能体让安全变难了

聊天机器人是「输入文本、输出文本」;智能体则是连着工具模型——终端、浏览器、数据库、邮箱,它会自己决定用哪个工具、按什么顺序用。风险因此变了质:聊天机器人犯糊涂,你顶多得到个错误答案;智能体犯糊涂,它可能删掉一个文件夹、发出一份表单、动用一个本不该碰的凭证。

原文提到,2026 年 10 月 9 日 Anthropic 曾发布一份关于自家模型「做出没人计划过的事」的报告,算是智能体安全问题的公开警示。

核心原则:最小智能体权限

OWASP 把这个核心思想叫做「least agency(最小智能体权限)」,说白了就三句话:

  • 只给任务真正需要的工具、权限和自主度;
  • 把它放进沙箱(sandbox)里运行;
  • 对「不可逆的操作」要求人工审批。

普通人现在能做什么

动作具体做法
收紧权限只开放任务必需的接口与文件,不给「全权限」
隔离运行在沙箱/隔离环境跑智能体,避免直接碰生产数据
关键动作人工确认删除、发送、支付等不可逆操作加一道人审
先看框架建议参考 OWASP 等主流安全框架的 Agent 安全指南

如果你在搭建智能体

文章建议把「控制它能做什么」当成第一优先级,而不是只纠结它生成了什么。对开发者而言,权限边界、沙箱策略、人工审批节点,是上线前必须想清楚的三件事。