如何管理 AI Agent 的上下文记忆与文档检索,并在 AWS 上实现?
结论:摘要加滑动窗口可以保留,但还需要外部存储和按需检索
不要在每次模型调用时都放入变更历史、原始文档和完整的 ER diagrams。应将这些信息持久化保存,每轮只向模型提供当前任务需要的状态、最近对话和相关证据。
摘要加 sliding window 适合压缩对话,但摘要可能遗漏字段名、约束或用户的否定意见。构建模型所需的准确状态应通过结构化数据单独维护,同时保留可追溯的原始记录。
这里需要区分 memory 的两个层次:应用可以长期保存大量信息,模型的 context window 只容纳当前这一次调用的输入。
按信息类型组织存储
| 信息 | 建议保存形式 | 何时放入上下文 |
|---|---|---|
| 最近对话 | 原始消息,按 token 预算保留 | 处理当前对话时 |
| 用户已确认的要求和当前模型 | 结构化状态或快照 | 任务需要时加载相关部分 |
| 历史修改和反馈 | 可追溯的变更记录,包含版本与来源 | 查询某次修改或解释决策时 |
| 原始文档 | 原文件加检索索引 | 检索与当前任务相关的片段 |
| ER diagrams | 原图及可校验的实体、属性和关系数据 | 加载相关实体及必要的关联关系 |
当前状态和变更历史应分别保存。例如,用户撤销一条关系后,当前状态应反映撤销结果,历史记录则保留这次操作。仅靠对话摘要,容易把已经撤销的关系重新引入。
如果 ER diagrams 只有图片,可以先提取实体和关系,再进行校验。图片识别结果不应直接作为已确认的模型状态。
每轮采用“加载状态、检索证据、控制预算”的流程
- 保存用户本轮输入,识别涉及的文档、实体和操作。
- 加载当前有效版本的模型状态和相关的已确认约束。
- 检索文件内容。先按项目、权限和有效版本缩小范围,再查找相关片段;字段名、实体 ID 等精确信息应结合关键词或结构化查询。
- 按需查询变更记录和实体关系。用户询问某条关系为何存在时,查询其来源和修改记录。
- 合并重复片段,按相关性选择证据,再结合最近对话组装上下文。
- 生成回答或修改建议。需要更新模型时,由应用校验修改并保存新版本。
摘要可以在阶段完成、话题切换或上下文接近预算时更新。摘要中最好保留已确认决策、未解决问题和来源引用,以便后续找回原文。
检索结果也要设置预算。只限制返回的片段数量不够,因为片段长度可能相差很大。
用 token 预算决定保留多少内容
每次调用都应计算 system prompt、工具定义、当前状态、消息和检索结果的总输入大小,并按模型及调用接口的限制预留输出空间。
下面是应用层伪代码,函数名用于说明流程,不对应具体框架 API:
state = load_current_state(project_id)
recent_messages = load_recent_messages(session_id)
query = build_query(user_input, recent_messages)
evidence = retrieve_documents(
query=query,
project_id=project_id,
revision=state.revision,
access_scope=access_scope,
)
changes = load_relevant_changes(project_id, query)
context = pack_context(
required=[system_prompt, user_input, state.relevant_view(query)],
optional=[changes, evidence, recent_messages],
token_budget=input_token_budget,
)
response = call_model(context)
access_scope 应由服务端根据用户身份生成。pack_context 需要计算完整请求的 token 开销,并根据不同任务安排内容优先级。如果必需内容已经超过预算,应缩小操作范围或拆分步骤,不能静默丢弃关键约束。
查找某个字段的来源时,重点加载原文证据;检查实体之间的关系时,重点加载相关实体及关联结构。无需为所有操作使用同一套上下文。
在 AWS 上如何选择组件
可以先从以下组合起步,具体取舍取决于已有数据库、文档规模和查询方式:
| 用途 | 可考虑的服务 | 选择依据 |
|---|---|---|
| 保存原始文件、图和快照 | Amazon S3 | 保存文件,并在应用中维护文档标识与版本引用 |
| 保存会话、反馈及变更记录 | Amazon DynamoDB 或 Amazon RDS | 按主键访问记录可考虑 DynamoDB;需要关系查询和事务时可考虑 RDS |
| 托管文档检索 | Amazon Bedrock Knowledge Bases | 需要托管知识库检索时评估,使用 Retrieve 获取片段后自行组装上下文 |
| 会话摘要 | 应用自行维护,或使用已有 Agent 平台的记忆功能 | 根据对摘要格式、更新时机和持久化行为的控制需求选择 |
Amazon Bedrock Knowledge Bases 的 Retrieve API 可以返回相关文档片段及来源信息;查询配置支持元数据过滤,也可配置 reranking。过滤能力与配置要求需要结合具体向量存储确认。AWS 检索文档、AWS 查询配置说明
如果已经使用 Amazon Bedrock Agents,可以评估其跨会话记忆功能。该功能会在会话结束后异步生成摘要,因此当前模型状态和即时修改仍应由应用保存。AWS Agent memory 文档
ER diagrams 不意味着必须引入图数据库。如果关系查询较简单,可以先用现有数据库保存实体与关系;频繁进行多跳关系遍历时,再评估专门的图存储。
重点避免版本混用和摘要失真
文档片段、模型快照和变更记录应包含项目、来源及版本标识。用户询问当前模型时,应排除已失效内容;用户询问历史版本时,再显式切换检索范围。
用户确认的事实、Agent 推断和待确认建议也应分别标记。尤其要注意,避免反复压缩的摘要逐渐取代原始证据。
验证方案时,可以选取几类实际问题,例如找回早期反馈、解释某条关系的来源、识别已撤销修改或查询旧版文档。检查答案是否准确、引用版本是否正确,以及上下文 token 数、延迟和调用成本,再调整摘要和检索策略。
备注:内容仅供参考。
