PAYATHON 2026

如何批量删除 AWS DocumentDB 百万条文档并逐条发送 EventBridge 事件?

数据小许

可以采用 SQS + Lambda,但要用有界批次控制资源使用,并可靠地记录每次删除对应的事件。仅把处理逻辑搬到 Lambda,仍可能导致数据库过载,或出现文档已删除、事件却未发出的情况。

先改掉一次性加载全部记录

约 100 万条文档不应一次性放入 ECS task 内存。可以改用游标读取或分页扫描,每次只保留少量待处理数据,同时限制正在执行的异步任务数。即使用了游标,如果最后仍将结果收集到数组中,或同时为所有记录启动异步任务,内存压力依然存在。

读取哪些字段取决于事件内容:

  • 如果事件只需要文档 ID,就只查询 _id,无需加载完整文档。
  • 如果事件需要文档中的业务字段,就只读取必要字段,并在删除前持久化事件所需数据。

一次性读取大量记录会增加内存压力,但仅凭现有描述,无法确定 ECS task 重启的直接原因。应检查任务停止原因、容器退出信息以及内存和 CPU 指标,再判断是否发生内存不足或其他故障。

SQS + Lambda 应如何组织

可以将处理流程拆成生产者和消费者:

ECS:分批扫描待删除文档
  → SQS:保存删除任务
  → Lambda:以受控并发处理任务
  → DocumentDB:删除文档并记录待发送事件
  → 事件发送程序:将事件提交到 EventBridge

生产者每次只读取一小批 ID,确认对应任务成功进入 SQS 后,再推进扫描检查点。批量入队时要逐条检查结果;入队结果不确定时可以重试,重复任务由消费者处理。

Lambda 无需严格限制为一次调用只删除一个文档。一次调用可以处理小批消息,但要限制批次大小和并发数,避免同时建立大量数据库连接或集中执行删除。具体数值应根据文档大小、数据库负载和处理耗时调整,无法从记录总数直接推导。

如果当前只需要解决 ECS task 的内存问题,也可以先保留 ECS,改为分批读取和受控处理。SQS 主要用于增加缓冲、重试和独立扩缩容能力。

删除与发送事件之间需要持久化记录

依次调用删除和 EventBridge 发送事件,存在两个失败窗口:

  • 先删除再发送:删除成功后进程退出,可能丢失事件。
  • 先发送再删除:事件发送成功后删除失败,下游会收到与实际状态不符的通知。

如果要求每次成功删除都能最终产生事件,可以采用事务性 outbox:在同一个 DocumentDB 事务内删除目标文档,并写入一条待发送事件。事务提交后,由独立程序读取 outbox 并发送事件。

这个方案以集群和驱动支持所需事务能力为前提。AWS 文档说明 DocumentDB 4.0 及更高版本支持事务,并建议保持事务简短。相关集合应提前创建,不要把百万条记录放进一个大事务。DocumentDB 事务说明

下面是流程伪代码,省略了连接配置、事务重试和序列化实现:

process_task(task):
    begin transaction

    if outbox contains task.eventId:
        commit
        return

    document = find document matching task.deleteFilter
    if document does not exist:
        commit
        return

    payload = build event payload from document
    result = delete document using the same filter
    require result.deletedCount == 1

    insert outbox record:
        eventId = task.eventId
        payload = payload
        status = "pending"

    commit

publish_outbox(record):
    send record.payload and record.eventId to EventBridge
    verify the corresponding result entry succeeded
    mark record as sent

eventId 应在创建任务时确定,并在重试时保持一致;outbox 需要对它建立唯一约束。它应标识一次具体的删除操作,避免文档删除后使用同一 ID 重建时,将后续删除误判为重复。

如果其他业务仍可能更新这些文档,删除时还应重新检查原始删除条件;需要校验特定版本时,也要把版本条件加入删除过滤器。只有确认实际删除成功,才记录删除事件。

重试必须允许重复处理

SQS 触发的 Lambda 可能重复处理同一条消息,因此不能依赖“每条任务只执行一次”。消费者需要实现幂等,并合理配置可见性超时、失败重试和死信队列。处理一批消息时,可以启用 ReportBatchItemFailures,只返回失败消息的标识,减少成功任务被整批重试的情况。Lambda 的 SQS 错误处理

发送程序也可能在 EventBridge 接收成功后、outbox 标记完成前退出,导致事件再次发送。应把稳定的业务 eventId 放进事件内容,由下游据此去重。

调用 PutEvents 时,需要检查 FailedEntryCount 和各条 Entries 的结果,不能只看 HTTP 200。失败条目应保留并重试,同时确认目标 event bus 存在且配置正确。EventBridge PutEvents 失败处理

如何验证方案有效

先用一部分数据试运行,观察 ECS 内存、Lambda 并发和错误率、DocumentDB CPU 与连接数,以及队列积压情况,再逐步提高吞吐量。

验收时除了删除数量,还要检查 outbox 待发送数量、发送失败记录和死信消息。EventBridge 接收成功和下游业务处理完成是不同阶段;如果要求下游也必须完成处理,还需要在消费端配置失败恢复和结果核对。

备注:内容仅供参考。