Node.js + Dataverse 首次查询慢与 504 超时优化
数据小陈
结论:后台预热配合共享 in-flight 请求,方向是对的,但只做这些还不够。建议把冷缓存下的大范围查询移出同步 HTTP 请求:用应用缓存/Redis 缓存、singleflight 请求合并、后台队列预热、stale-while-revalidate;冷未命中时返回 202 任务状态,或者先返回旧数据/部分数据,再由 worker 限流计算 Dataverse 并写回缓存。Nginx 的 504 表示客户端等不到响应,单纯调大超时只是把问题藏起来。
为什么会慢和超时
宽日期范围会让 Dataverse 查询更重,仪表盘又按 team/BU 扇出,首次没有缓存时会同时产生较多请求。Node.js 还在等 Dataverse 时,Nginx 先等到超时并返回 504;Node.js 进程不会因此自动停止,后台仍会继续计算。结果写入缓存后,下一次请求就会快很多。多个用户同时查同一个范围时,还容易重复触发相同的计算,进一步加大 Dataverse 压力。
推荐架构
- 读路径和计算路径分离:API 只负责读缓存。命中就直接返回;冷未命中时,不要让一个 HTTP 请求等上好几分钟,而是创建后台 job,返回
202以及jobId/retryAfterMs,前端轮询状态,或者用 SSE 接收完成事件。 - 请求合并 singleflight:同一个 cache key 同时只能有一个计算。单进程可以用
Map保存 in-flight Promise;多实例部署要改用 Redis 分布式锁或集中 worker,否则每个 Node 实例都会各算一遍。 - 缓存分层和旧值优先:L1 用进程内 LRU 挡热点,L2 用 Redis 共享缓存。缓存值记录
expiresAt和staleUntil;过期但还在 stale 窗口时先返回旧值,后台刷新。 - 后台预热:按 Quarter/Year/All-time 和 team/BU 建立预热任务,放进队列并限制并发,再加一点 jitter,避免启动时把 Dataverse 打满。数据变更后,可以按 key 失效,也可以定时重建。
- Dataverse 查询优化:减少 fanout;能批量就批量,能聚合就聚合(具体要看你的表支持哪种 Dataverse 聚合方式)。只取必要列,在服务端过滤并分页拉取。按 team/BU 和时间范围分开缓存,再组合结果,避免 N+1。
- Nginx 配置:异步 job 的创建和轮询接口应该很快返回,
proxy_read_timeout不必为几分钟的计算服务。如果还保留同步长请求,调大超时只能减少 504,连接占用和重复计算仍然存在。
代码示例
下面这段代码演示单进程内的请求合并和 stale-while-revalidate。多实例部署时,要换成 Redis 锁或集中任务队列。
// 单进程示例:cache.get/set 需替换为你的 Redis/LRU 实现
const inflight = new Map();
async function getOrCompute(key, ttlMs, compute) {
const now = Date.now();
const cached = await cache.get(key); // { value, expiresAt }
if (cached?.expiresAt > now) {
return cached.value;
}
if (cached) {
refresh(key, ttlMs, compute).catch(console.error);
return cached.value;
}
return refresh(key, ttlMs, compute);
}
function refresh(key, ttlMs, compute) {
if (inflight.has(key)) return inflight.get(key);
const p = (async () => {
try {
const value = await compute();
await cache.set(key, { value, expiresAt: Date.now() + ttlMs });
return value;
} finally {
inflight.delete(key);
}
})();
inflight.set(key, p);
return p;
}
冷未命中时改用后台 job,避免 HTTP 请求长时间挂起:
app.get('/api/sla', async (req, res) => {
const key = makeCacheKey(req.query);
const cached = await cache.get(key);
if (cached?.expiresAt > Date.now()) {
return res.json(cached.value);
}
if (cached) {
refresh(key, TTL, () => computeSla(req.query)).catch(console.error);
return res.json({ ...cached.value, _stale: true });
}
const job = await jobs.enqueue('sla', { key, query: req.query });
return res.status(202).json({
status: 'computing',
jobId: job.id,
retryAfterMs: 2000
});
});
app.get('/api/sla/:jobId', async (req, res) => {
const job = await jobs.get(req.params.jobId);
if (!job) return res.status(404).json({ error: 'not_found' });
if (job.status === 'done') return res.json(job.result);
if (job.status === 'failed') return res.status(500).json({ error: 'compute_failed' });
return res.status(202).json({ status: job.status, retryAfterMs: 2000 });
});
worker 里限制 Dataverse 并发,并对 429/临时错误退避重试:
import PQueue from 'p-queue';
const dataverseQueue = new PQueue({ concurrency: 4 });
const data = await dataverseQueue.add(() => fetchDataverse(query));
注意事项
- 多实例部署时,
Map不能当全局锁用。可以用 RedisSET NX PX加锁并设置合理的 TTL,或者让单独的 worker 负责计算。 - 缓存 key 要包含日期范围、team/BU 和筛选条件。如果数据受用户权限影响,还要把权限上下文放进去,或者在返回前做权限校验,避免缓存里出现越权数据。
- 前端不要只转圈等一个长请求,可以按 team/BU 分块渲染:已经算好的块先显示,没算好的块显示加载状态。
- 监控缓存命中率、job 耗时、队列长度,以及 Dataverse 的 429 和限流情况。预热任务要能暂停、重试和降级。
备注:内容仅供参考。
