AI时代的内存优化,本质上就是一个数据库的安全问题。若想避免人工智能Agent成为新的攻击对象,就必须像对待数据库那样对待Agent内存,控制好防火墙、审计机制以及严格的访问权限管理。
大型语言模型(LLM)发展带来的挑战
大型语言模型(LLM)的迅猛发展,让人始料未及。以技术达人艾莉·米勒的亲身实践为例,她近期对首选的 LLM 用于多项任务进行了评价,却坦言“相信下周情况就会改变”。原因在于,不同模型间的竞争激烈,有的会加速迭代,有的会在特定领域强化训练。然而,当前这些 LLM 在处理高价值企业数据时,其“接地气”的能力亟待提升。破解难题的关键在于,并非单纯地跟上 LLM 的进化速度,而是要探索如何将内存优化经验有效应用于人工智能领域。
若把 LLM 比作 CPU,那么内存就如同硬盘、上下文以及积累的智慧,是智能体有效运行的关键支撑。剥夺Agent的内存,它便沦为一个成本高昂的随机生成器。与此同时,将记忆融入这些日益成熟的系统,也带来了全新的、巨大的攻击风险。
Agent内存优化,也是被忽视的“数据库”危险
多数组织将Agent内存视作抓取板或 SDK 背后的简单功能,却未意识到它本质上是一个数据库问题,而且可能是组织所拥有的最危险(同时也最具潜力)的数据库问题。
不久前,我曾提出,看似普通的数据库正逐渐成为人工智能的“海马体”,为类似长期回忆的无状态模型赋予外部记忆能力。当时,Agent系统浪潮尚未真正兴起,如今风险已然大幅增加。
正如里士满·阿莱克在“特工记忆”研究中反复强调的,LLM 记忆与Agent记忆存在本质区别。LLM 内存仅涉及参数权重和短暂的上下文窗口,会话结束后便消失不见。而Agent内存则是一种持久的认知架构,能让Agent基于历史互动积累知识、保持情境感知并调整行为。
阿拉克将这一新兴领域称为“记忆工程”,认为它是提示或情境工程的后续发展。其核心并非简单地向上下文窗口填充更多代币,而是构建一条将原始数据转化为结构化、持久记忆的流程,涵盖短期、长期、共享等多种类型。
这看似是人工智能领域的专业术语,实则是一个伪装成数据库的问题。一旦Agent能够回溯自身记忆,每次交互都可能引发系统状态变化,进而影响未来决策。此时,调整提示已无济于事,因为运行的是一个实时、持续更新的数据库,存储着Agent对世界的认知。
若该数据库出现错误,Agent会自信地犯错;若遭到入侵,Agent将始终处于危险境地。这些威胁主要分为以下三类:
记忆中毒:攻击者不直接破坏防火墙,而是通过正常交互向Agent灌输虚假内容。开放全球应用安全项目(OWASP)将记忆中毒定义为损坏存储数据,致使Agent在后续决策中出现缺陷。如今,像 Promptfoo 这类工具已配备专门的红队插件,用于测试Agent是否会被恶意记录误导。一旦发生这种情况,Agent对中毒记忆的后续判断都将被扭曲。
工具滥用:Agent越来越多地获得访问各类工具的权限,如 SQL 终端、shell 命令、CRM API 和部署系统等。当攻击者能够诱导代理在错误上下文中调用正确工具时,其危害与掌握“内幕指令”的内部人员无异。OWASP 将此类问题归类为工具滥用和Agent劫持,即Agent无法摆脱权限限制,被攻击者利用谋取私利。
特权蔓延和妥协:随着时间推移,Agent会积累涉及敏感数据的角色、密钥和心理快照。例如,若某Agent先协助首席财务官,后又为初级分析师服务,就可能“记住”不应在下游分享的信息。Agent人工智能安全类税务信息明确指出,特权妥协和访问风险会随着动态角色或审计不力政策的实施而增加。
新问题的本质是数据安全问题
这些威胁看似新颖,本质上却都是数据问题。回顾人工智能发展历程,这些问题正是数据治理团队多年来致力于解决的。
我一直建议企业应从“快速转型”转向“快速实现数据的有效管理”,并将其作为人工智能平台的核心选择标准。对于Agent系统而言,这一点尤为重要。Agent以机器速度处理人体数据,若数据错误、陈旧或标注有误,Agent出错的速度将远超人类管理能力。
没有有效“治理”的“快速”发展,无异于高速疏忽。问题在于,多数Agent框架都自带小型内存存储,如默认的向量数据库、JSON 文件以及内存中的快速缓存,这些缓存可能在后续悄然投入生产使用。从数据治理角度看,这些属于影子数据库,通常缺乏模式定义、访问控制列表和严肃的审计跟踪记录。
我们实际上是为Agent专门搭建了第二个数据栈,却还疑惑为何安全人员对Agent接触重要事务心存顾虑。显然,这种做法不可取。若Agent要保存影响真实决策的内存,该存储应与处理客户记录、人力资源数据和财务数据的受管控数据基础设施属于同一体系。Agent是新事物,但保护它们的方法并不用是最新的。
一种行业觉醒,Agent记忆与数据库设计的融合
业界逐渐意识到,“Agent记忆”实质是“数据持久化”的“新包装”。仔细审视,大型云服务提供商的举措已初具数据库设计雏形。例如,亚马逊的 Bedrock AgentCore 引入“内存资源”作为逻辑容器,明确规定了留存周期、安全边界以及原始交互如何转化为持久洞察,这无疑是数据库语言的运用,即便带有人工智能品牌标识。
将向量嵌入视为独立于核心数据库的特殊数据类型毫无意义,若核心事务引擎能够原生处理向量搜索、JSON 和图形查询,这种分离更显多余。将内存整合到存储客户记录的数据库中,可继承数十年的安全强化成果。正如布里吉·潘迪所指出,数据库多年来一直是应用架构的核心,智能人工智能不仅无法改变这一现状,反而会强化其地位。
然而,许多开发者仍绕过这一成熟架构,构建独立的向量数据库,或使用 LangChain 等框架的默认存储,创建无模式、无审计跟踪的无管理嵌入堆。这便是前面提到的“高速疏忽”。解决方案很简单:将向量内存视为一流数据库。
具体实践包括:
定义思想模式:通常人们将内存视为非结构化文本,这是错误的。Agent存储器需要结构化设计,明确记录说话者、时间、信心水平等信息。如同不会将财务记录随意丢进文本文件,Agent记忆也不应存入通用向量存储,需借助元数据管理想法的生命周期。
创建内存防火墙:将写入长期记忆的每一项内容都视为不可信输入。构建一个“防火墙”逻辑层,执行模式验证、约束检查以及数据丢失防护,甚至可在数据写入磁盘前,使用专用安全模型扫描提示注入或记忆中毒迹象。
数据库层实施访问控制:为Agent的“大脑”实施分级安全机制。在Agent为用户提供初级审核(如初级分析师权限)前,必须有效记录所有高级记忆(如首席财务官权限)。此操作应在数据库层而非提示层执行,若Agent试图查询无权限内存,数据库应返回零结果。
审计“思想链”:传统安全审计关注谁访问了表格,而Agent安全需审计原因。需将Agent的实际行为追溯到触发它的特定记忆谱系。若Agent泄露数据,要能够调试其内存,找出有毒记录并清除。
构建信任机制,从内存层开始的Agent系统设计
我们常以抽象概念谈论人工智能信任,如伦理、一致性、透明度等,这些固然重要,但对于在实体企业中运行的Agent系统,信任是具体可衡量的。
当前处于炒作周期阶段,各方都希望构建能“直接应对”的Agent机构,这不难理解,毕竟Agent能自动化许多过去需团队协作的工作流程和应用程序。但每一次精彩演示背后,都隐藏着一个不断积累事实、印象、中间计划和缓存工具结果的存储库。这个存储库必须被当作一流数据库处理,否则将面临严重风险。
那些已掌握数据谱系、访问控制、留存和审计管理方法的企业,在进入Agent时代时具有结构性优势,无需重新发明治理体系,只需将其扩展至新的工作负载。
若你正在设计Agent系统,请从内存层入手,明确其定义、存储位置、构建方式和管理策略。之后,再让Agent投入运行。