Scenario
企业知识助手接入业务系统
企业知识助手需要检索内部文档, 并通过工具完成工单查询、报表生成和通知发送。若只依赖登录认证, 智能体可能在提示注入影响下读取超出用户权限的数据, 调用不应开放的工具, 或在输出中泄露个人信息和业务敏感字段。
真实性说明: 本案例用于解释控制方法和验收思路, 不对应特定客户。控制范围应根据实际数据等级、业务工具和自主决策权限重新评估。
Threat Model
需要优先验证的四类风险
敏感数据越权检索
知识库只按文档相关度返回内容, 没有继承用户、部门和项目权限。
提示注入改变任务
恶意内容诱导智能体忽略原始指令, 输出系统提示、凭据或内部文档。
高风险工具误调用
智能体能够直接执行发送、删除、审批等操作, 缺少参数验证和人工确认。
行为与责任不可追溯
日志只记录用户问题和最终答案, 无法还原检索内容、策略版本与工具参数。
Capability Collaboration
研发、管理、安全保障等能力如何协同
| 能力 | 实施动作 | 关键证据 |
|---|---|---|
| 研发能力 | 检索权限过滤、输入输出检测、工具白名单、参数校验、高风险动作二次确认 | 策略配置、测试用例、拦截日志 |
| 管理能力 | 定义自主决策等级、数据用途、授权时效、例外审批和人工接管责任 | 权限矩阵、审批记录、责任清单 |
| 安全保障 | 提示注入测试、敏感信息检测、异常调用监控、模型和插件完整性验证 | 评估报告、告警记录、组件清单 |
| 运营能力 | 复核高风险会话、分析误报漏报、更新攻击样本和控制策略 | 运营报表、复盘记录、策略版本 |
Acceptance Targets
建议验收目标
100%高风险工具纳入授权
100%敏感操作具备审计链
最小化知识检索权限与数据范围
可阻断越权与提示注入攻击
- 01权限继承测试: 不同角色对同一问题只能检索其有权访问的文档和字段。
- 02攻击模拟测试: 提示注入、编码绕过和间接注入不能改变系统授权边界。
- 03高风险动作测试: 删除、发送、审批等操作必须经过身份绑定、参数校验与人工确认。
- 04审计还原测试: 能够关联用户、授权、策略、检索内容、工具参数、响应和最终输出。