PAYATHON 2026

如何管理 AI Agent 的上下文记忆与文档检索,并在 AWS 上实现?

技术老齐

结论:摘要加滑动窗口可以保留,但还需要外部存储和按需检索

不要在每次模型调用时都放入变更历史、原始文档和完整的 ER diagrams。应将这些信息持久化保存,每轮只向模型提供当前任务需要的状态、最近对话和相关证据。

摘要加 sliding window 适合压缩对话,但摘要可能遗漏字段名、约束或用户的否定意见。构建模型所需的准确状态应通过结构化数据单独维护,同时保留可追溯的原始记录。

这里需要区分 memory 的两个层次:应用可以长期保存大量信息,模型的 context window 只容纳当前这一次调用的输入。

按信息类型组织存储

信息建议保存形式何时放入上下文
最近对话原始消息,按 token 预算保留处理当前对话时
用户已确认的要求和当前模型结构化状态或快照任务需要时加载相关部分
历史修改和反馈可追溯的变更记录,包含版本与来源查询某次修改或解释决策时
原始文档原文件加检索索引检索与当前任务相关的片段
ER diagrams原图及可校验的实体、属性和关系数据加载相关实体及必要的关联关系

当前状态和变更历史应分别保存。例如,用户撤销一条关系后,当前状态应反映撤销结果,历史记录则保留这次操作。仅靠对话摘要,容易把已经撤销的关系重新引入。

如果 ER diagrams 只有图片,可以先提取实体和关系,再进行校验。图片识别结果不应直接作为已确认的模型状态。

每轮采用“加载状态、检索证据、控制预算”的流程

  1. 保存用户本轮输入,识别涉及的文档、实体和操作。
  2. 加载当前有效版本的模型状态和相关的已确认约束。
  3. 检索文件内容。先按项目、权限和有效版本缩小范围,再查找相关片段;字段名、实体 ID 等精确信息应结合关键词或结构化查询。
  4. 按需查询变更记录和实体关系。用户询问某条关系为何存在时,查询其来源和修改记录。
  5. 合并重复片段,按相关性选择证据,再结合最近对话组装上下文。
  6. 生成回答或修改建议。需要更新模型时,由应用校验修改并保存新版本。

摘要可以在阶段完成、话题切换或上下文接近预算时更新。摘要中最好保留已确认决策、未解决问题和来源引用,以便后续找回原文。

检索结果也要设置预算。只限制返回的片段数量不够,因为片段长度可能相差很大。

用 token 预算决定保留多少内容

每次调用都应计算 system prompt、工具定义、当前状态、消息和检索结果的总输入大小,并按模型及调用接口的限制预留输出空间。

下面是应用层伪代码,函数名用于说明流程,不对应具体框架 API:

state = load_current_state(project_id)
recent_messages = load_recent_messages(session_id)

query = build_query(user_input, recent_messages)
evidence = retrieve_documents(
    query=query,
    project_id=project_id,
    revision=state.revision,
    access_scope=access_scope,
)
changes = load_relevant_changes(project_id, query)

context = pack_context(
    required=[system_prompt, user_input, state.relevant_view(query)],
    optional=[changes, evidence, recent_messages],
    token_budget=input_token_budget,
)

response = call_model(context)

access_scope 应由服务端根据用户身份生成。pack_context 需要计算完整请求的 token 开销,并根据不同任务安排内容优先级。如果必需内容已经超过预算,应缩小操作范围或拆分步骤,不能静默丢弃关键约束。

查找某个字段的来源时,重点加载原文证据;检查实体之间的关系时,重点加载相关实体及关联结构。无需为所有操作使用同一套上下文。

在 AWS 上如何选择组件

可以先从以下组合起步,具体取舍取决于已有数据库、文档规模和查询方式:

用途可考虑的服务选择依据
保存原始文件、图和快照Amazon S3保存文件,并在应用中维护文档标识与版本引用
保存会话、反馈及变更记录Amazon DynamoDB 或 Amazon RDS按主键访问记录可考虑 DynamoDB;需要关系查询和事务时可考虑 RDS
托管文档检索Amazon Bedrock Knowledge Bases需要托管知识库检索时评估,使用 Retrieve 获取片段后自行组装上下文
会话摘要应用自行维护,或使用已有 Agent 平台的记忆功能根据对摘要格式、更新时机和持久化行为的控制需求选择

Amazon Bedrock Knowledge Bases 的 Retrieve API 可以返回相关文档片段及来源信息;查询配置支持元数据过滤,也可配置 reranking。过滤能力与配置要求需要结合具体向量存储确认。AWS 检索文档、AWS 查询配置说明

如果已经使用 Amazon Bedrock Agents,可以评估其跨会话记忆功能。该功能会在会话结束后异步生成摘要,因此当前模型状态和即时修改仍应由应用保存。AWS Agent memory 文档

ER diagrams 不意味着必须引入图数据库。如果关系查询较简单,可以先用现有数据库保存实体与关系;频繁进行多跳关系遍历时,再评估专门的图存储。

重点避免版本混用和摘要失真

文档片段、模型快照和变更记录应包含项目、来源及版本标识。用户询问当前模型时,应排除已失效内容;用户询问历史版本时,再显式切换检索范围。

用户确认的事实、Agent 推断和待确认建议也应分别标记。尤其要注意,避免反复压缩的摘要逐渐取代原始证据。

验证方案时,可以选取几类实际问题,例如找回早期反馈、解释某条关系的来源、识别已撤销修改或查询旧版文档。检查答案是否准确、引用版本是否正确,以及上下文 token 数、延迟和调用成本,再调整摘要和检索策略。

备注:内容仅供参考。