AI—人工审查与防御性锚定
将 AI 输出视为不可信、直至经人工审查并有证据支撑的准则,并设计保持人类问责的 AI 辅助工作流。
快速解答
通过将其输出视为未经核实的草稿来锚定 AI:要求人工对照一手来源确认论断并保留审计轨迹,绝不让 AI 自动发布事实或执行高风险操作。
定义
防御性锚定将每一份 AI 输出都视为未经核实,直至人工对照来源予以确认,使 AI 始终保持助手身份,在高风险安全决策中绝不单方面成为事实。
它是什么
防御性锚定是一种策略与工程准则,使 AI 成为 起草助手 而非权威:模型输出会被引导至人工审查关卡,并对照一手来源确认后,才成为可信操作或已发布事实。
为什么重要
AI 能够起草、总结、组织和提取,但也可能产生幻觉。在网络安全领域——错误的缓解措施或伪造的 IOC 都会带来真实代价——模型绝不能成为最终裁决者。OpenTrojan 正是这样执行的:AI 从不自动发布、从不写入知识图谱、从不执行高风险操作(见 security:ai-security)。
它如何工作
- 通过带有
requiresReview的审查关卡引导 AI 输出;存储来源信息(来源、置信度)。 - 要求论断引用一手来源;将任何没有来源的内容标记为无支撑。
- 提供审计轨迹,将每个 AI 操作/回答与其证据关联起来。
检测
- AI 回答提出决定性操作却没有经验证的来源 → 将该回答视为无支撑。
- 无法回答“这一事实从何而来?”的论断 → 阻止其发布。
缓解
- 保留人类对发布/执行/合并的决策权。
- 记录并版本化所有 AI 起草内容;跟踪审查状态。
- 设计提示词以返回
answer, evidence, confidence, sources, requiresReview(参见security:prompt-injection作为平行风险)。
调查
对于任何有争议的 AI 结果,重建输入上下文、模型引用的来源以及审查决定;确认人工关卡已被执行且来源已核实。见 security:soc-operations。