Salesforce CDC 数据恢复:replay ID 过期与硬删除如何处理
数据小陈
结论
只靠保存的 replay ID 和一次 SystemModstamp >= last_successful_timestamp 查询,无法保证零丢失。CDC 事件有保留窗口,replay ID 一旦过期就不能回放;SystemModstamp 是记录当前字段,既不表示删除,也不保留中间变更。实际能做到的是 at-least-once 投递、幂等写入、重叠回填和删除对账;如果已经超过 CDC 保留窗口,就重新同步一次。Salesforce 没有公开 API 可以绕过保留期恢复过期事件。常见做法是:用 Bulk API 做初始化或全量同步,用 CDC 做增量,删除则通过 Replication API 的 getDeleted,或者依赖源端删除事件和审计对账;hard delete 还需要额外兜底。
为什么会出现重复和漏数
- 先停 CDC 再回填、然后重启 CDC,中间存在边界:回填查询的时间点、CDC 事件的提交时间、批处理失败后的重试,并不在同一个原子快照里。
SystemModstamp >= T只能查到当时仍然存在的记录;回填期间被多次更新的记录最终只留下最后状态,而 CDC 的更新、删除事件又可能与 bulk 快照交错。- replay ID 只在事件保留期内有效,过期后不能拿这个 ID 继续消费。
- hard delete 之后记录已经不存在,
SystemModstamp查询发现不了;如果 CDC 也没有捕获,或者捕获已经过期,就只能依靠删除日志、源端审计或全量对账。
推荐恢复流程
- 恢复期间尽量别停掉 CDC 到 raw 的消费。先把 CDC 事件写进 raw/staging event table,下游 warehouse apply 可以暂停。这样 backfill 期间的新事件仍会保留下来,对 replay ID 的依赖也就少了。
- 如果 CDC 已经超过保留期,先启动新的 CDC 消费并写入 raw,同时用 Bulk API 2.0 做全量回填,或者按
SystemModstamp做重叠回填。如果必须补齐过期区间,而 CDC 又无法回放,就只能做全量快照,再通过源端删除记录或对账补齐删除。 - 回填查询要使用重叠窗口,比如
SystemModstamp >= last_successful_timestamp - 10 minutes,并按SystemModstamp, Id排序分页。重叠是为了覆盖边界,重复数据交给幂等 upsert 处理。 - 所有写入都用幂等 upsert:warehouse 主键采用
object + record_id,同时保存source_system_modstamp、cdc_commit_timestamp、cdc_commit_number、change_type等版本字段。只有新版本大于等于旧版本时才更新;删除要写 tombstone,不能只做物理删除。 - backfill 完成后,把 raw CDC 事件按提交顺序合并进 warehouse,再恢复下游。合并时按 record id 和版本去重;CDC 的 delete 事件会把记录标记为 deleted。
- 删除对账方面,在 Salesforce 的删除保留窗口内,用 Replication API 的
getDeleted拉取删除记录,然后在 warehouse 里标记删除。具体对象、时间范围和保留期以 API 和租户文档为准。hard delete 在getDeleted里也可能看不到,必须依靠源端审计、备份、CDC 删除事件归档,或者周期性做全量 ID 差集对账。 - 最后做 reconciliation:按对象比较源端和 warehouse 的 count、ID 集合以及关键字段 checksum。如果发现 warehouse 里有、源端没有的 ID,先确认不是权限或查询延迟造成的,再标记删除。
代码示例
CDC 事件写入 staging 并做幂等去重:
# pseudo code: CDC event -> staging, idempotent apply
def apply_cdc(event, conn):
header = event['ChangeEventHeader']
record_ids = header['recordIds']
change_type = header['changeType']
commit_ts = header['commitTimestamp']
commit_num = header.get('commitNumber')
for rid in record_ids:
if change_type == 'DELETE':
conn.execute('''
INSERT INTO sfdc_tombstone(
object_name, record_id, commit_ts, commit_num, change_type
) VALUES (?, ?, ?, ?, ?)
ON CONFLICT(object_name, record_id, commit_ts, commit_num) DO NOTHING
''', (header['entityName'], rid, commit_ts, commit_num, change_type))
else:
conn.execute('''
INSERT INTO sfdc_raw(
object_name, record_id, payload, commit_ts, commit_num, change_type
) VALUES (?, ?, ?, ?, ?, ?)
ON CONFLICT(object_name, record_id, commit_ts, commit_num) DO NOTHING
''', (header['entityName'], rid, event, commit_ts, commit_num, change_type))
warehouse 层按版本合并:
MERGE INTO warehouse.account AS t
USING staging.account AS s
ON t.id = s.id
WHEN MATCHED AND (
s.system_modstamp > t.system_modstamp
OR (s.system_modstamp = t.system_modstamp AND s.id > t.id)
) THEN UPDATE SET
name = s.name,
system_modstamp = s.system_modstamp,
is_deleted = s.is_deleted
WHEN NOT MATCHED THEN INSERT (
id, name, system_modstamp, is_deleted
) VALUES (
s.id, s.name, s.system_modstamp, s.is_deleted
);
删除记录对账示意:
# pseudo code: Replication API getDeleted
start = last_delete_sync
end = now
result = sf.getDeleted('Account', start, end)
for rec in result['deletedRecords']:
mark_deleted('Account', rec['id'], rec['deletedDate'])
注意事项
- 别把
SystemModstamp当作删除日志,它只能覆盖仍然存在的记录。hard delete 只能靠删除事件归档、源端审计、备份或全量对账兜底。 - 处理 CDC 事件时,应参考
ChangeEventHeader里的提交时间和序号,不要只按到达顺序覆盖。 - 保存 replay ID 时,同时保存 commit timestamp 和 batch 边界;replay ID 失效后,不要尝试伪造恢复。
- 如果业务要求严格无漏,就必须接受至少一次投递,并在 warehouse 做幂等和去重。
- 保留窗口、
getDeleted限制以及 hard delete 的可见性,都要以当前 Salesforce 版本和租户的实际验证为准。
备注:内容仅供参考。
