根据使用场景验证准确性、敏感信息、指令风险和人工复核要求。
风险边界
按展示、建议、自动执行和对外发布等用途分级, 识别幻觉、敏感信息、恶意代码与越权指令风险。
核心控制
使用结构校验、规则过滤、引用核对和风险评分, 高影响场景设置人工审批并限制模型直接执行权限。
验收与持续改进
维护评测集和失败案例, 记录拦截、人工修改与事故反馈, 模型或提示更新后重新执行回归评测。
落地检查清单
- 明确责任人和适用范围
- 控制项可由工具或记录验证
- 高风险例外设定到期复核
- 上线后持续监测执行效果
方案建议将本文控制项纳入软件安全建议方案, 明确研发执行、管理审批和安全保障复测责任, 形成可追溯的证据闭环。
常见问题
控制项应该如何验收?
以配置、日志、测试结果和审批记录作为证据, 并抽样验证控制在真实场景下有效。
出现业务例外如何处理?
例外需要说明风险、补偿措施、责任人和到期时间, 到期后必须复核或完成整改。