PAYATHON 2026

Node.js + Dataverse 首次查询慢与 504 超时优化

数据小陈

结论:后台预热配合共享 in-flight 请求,方向是对的,但只做这些还不够。建议把冷缓存下的大范围查询移出同步 HTTP 请求:用应用缓存/Redis 缓存、singleflight 请求合并、后台队列预热、stale-while-revalidate;冷未命中时返回 202 任务状态,或者先返回旧数据/部分数据,再由 worker 限流计算 Dataverse 并写回缓存。Nginx 的 504 表示客户端等不到响应,单纯调大超时只是把问题藏起来。

为什么会慢和超时

宽日期范围会让 Dataverse 查询更重,仪表盘又按 team/BU 扇出,首次没有缓存时会同时产生较多请求。Node.js 还在等 Dataverse 时,Nginx 先等到超时并返回 504;Node.js 进程不会因此自动停止,后台仍会继续计算。结果写入缓存后,下一次请求就会快很多。多个用户同时查同一个范围时,还容易重复触发相同的计算,进一步加大 Dataverse 压力。

推荐架构

  1. 读路径和计算路径分离:API 只负责读缓存。命中就直接返回;冷未命中时,不要让一个 HTTP 请求等上好几分钟,而是创建后台 job,返回 202 以及 jobId/retryAfterMs,前端轮询状态,或者用 SSE 接收完成事件。
  2. 请求合并 singleflight:同一个 cache key 同时只能有一个计算。单进程可以用 Map 保存 in-flight Promise;多实例部署要改用 Redis 分布式锁或集中 worker,否则每个 Node 实例都会各算一遍。
  3. 缓存分层和旧值优先:L1 用进程内 LRU 挡热点,L2 用 Redis 共享缓存。缓存值记录 expiresAt 和 staleUntil;过期但还在 stale 窗口时先返回旧值,后台刷新。
  4. 后台预热:按 Quarter/Year/All-time 和 team/BU 建立预热任务,放进队列并限制并发,再加一点 jitter,避免启动时把 Dataverse 打满。数据变更后,可以按 key 失效,也可以定时重建。
  5. Dataverse 查询优化:减少 fanout;能批量就批量,能聚合就聚合(具体要看你的表支持哪种 Dataverse 聚合方式)。只取必要列,在服务端过滤并分页拉取。按 team/BU 和时间范围分开缓存,再组合结果,避免 N+1。
  6. Nginx 配置:异步 job 的创建和轮询接口应该很快返回,proxy_read_timeout 不必为几分钟的计算服务。如果还保留同步长请求,调大超时只能减少 504,连接占用和重复计算仍然存在。

代码示例

下面这段代码演示单进程内的请求合并和 stale-while-revalidate。多实例部署时,要换成 Redis 锁或集中任务队列。

// 单进程示例:cache.get/set 需替换为你的 Redis/LRU 实现
const inflight = new Map();

async function getOrCompute(key, ttlMs, compute) {
  const now = Date.now();
  const cached = await cache.get(key); // { value, expiresAt }

  if (cached?.expiresAt > now) {
    return cached.value;
  }

  if (cached) {
    refresh(key, ttlMs, compute).catch(console.error);
    return cached.value;
  }

  return refresh(key, ttlMs, compute);
}

function refresh(key, ttlMs, compute) {
  if (inflight.has(key)) return inflight.get(key);

  const p = (async () => {
    try {
      const value = await compute();
      await cache.set(key, { value, expiresAt: Date.now() + ttlMs });
      return value;
    } finally {
      inflight.delete(key);
    }
  })();

  inflight.set(key, p);
  return p;
}

冷未命中时改用后台 job,避免 HTTP 请求长时间挂起:

app.get('/api/sla', async (req, res) => {
  const key = makeCacheKey(req.query);
  const cached = await cache.get(key);

  if (cached?.expiresAt > Date.now()) {
    return res.json(cached.value);
  }

  if (cached) {
    refresh(key, TTL, () => computeSla(req.query)).catch(console.error);
    return res.json({ ...cached.value, _stale: true });
  }

  const job = await jobs.enqueue('sla', { key, query: req.query });
  return res.status(202).json({
    status: 'computing',
    jobId: job.id,
    retryAfterMs: 2000
  });
});

app.get('/api/sla/:jobId', async (req, res) => {
  const job = await jobs.get(req.params.jobId);
  if (!job) return res.status(404).json({ error: 'not_found' });
  if (job.status === 'done') return res.json(job.result);
  if (job.status === 'failed') return res.status(500).json({ error: 'compute_failed' });
  return res.status(202).json({ status: job.status, retryAfterMs: 2000 });
});

worker 里限制 Dataverse 并发,并对 429/临时错误退避重试:

import PQueue from 'p-queue';

const dataverseQueue = new PQueue({ concurrency: 4 });

const data = await dataverseQueue.add(() => fetchDataverse(query));

注意事项

  • 多实例部署时,Map 不能当全局锁用。可以用 Redis SET NX PX 加锁并设置合理的 TTL,或者让单独的 worker 负责计算。
  • 缓存 key 要包含日期范围、team/BU 和筛选条件。如果数据受用户权限影响,还要把权限上下文放进去,或者在返回前做权限校验,避免缓存里出现越权数据。
  • 前端不要只转圈等一个长请求,可以按 team/BU 分块渲染:已经算好的块先显示,没算好的块显示加载状态。
  • 监控缓存命中率、job 耗时、队列长度,以及 Dataverse 的 429 和限流情况。预热任务要能暂停、重试和降级。

备注:内容仅供参考。