PolarDB MySQL 8.0 启用 ePQ 后,为什么 EXPLAIN 仍显示串行计划?
结论:先检查 EXPLAIN 的路由,再判断优化器是否拒绝并行
当前的串行 EXPLAIN 输出不足以说明报表查询没有使用 ePQ。先检查 EXPLAIN 是否被路由到了 RW 节点。
PolarDB 官方 FAQ 说明,可读可写集群地址上的 EXPLAIN 默认路由到主节点,而主节点默认关闭并行查询。因此,即使实际 SELECT 可以在 RO 节点并行执行,普通 EXPLAIN 也可能显示串行计划。可以用 FORCE_SLAVE Hint 查看 RO 节点上的计划。官方 ePQ FAQ
max_parallel_degree = 4 设置的是允许使用的最大并行度,并不保证每条查询都采用并行计划。现有信息也不足以断定问题出在代价阈值。
1. 重新建立连接,在 RO 节点查看原查询计划
在控制台开启 ePQ 后,设置只对新连接生效。连接池中已有的物理连接需要更新;从连接池重新借用旧连接,无法验证开关是否已生效。ePQ 使用说明
建立新连接后,将下面的 SELECT ... 替换为完整报表 SQL,保留原来的 JOIN、过滤条件和 GROUP BY:
/* FORCE_SLAVE */ EXPLAIN FORMAT=TREE
SELECT ...;
查看计划中是否出现 Gather、Parallel table scan、Parallel index scan 或 with parallel partitions。8.0.2 支持用 EXPLAIN FORMAT=TREE 展示这些信息;在传统表格格式中,可以检查 Extra 中的 Parallel scan,以及类似 <gather...> 的记录。并行执行计划说明
如果此时出现并行计划,先前的现象就可以用 EXPLAIN 的路由差异解释,无需立即降低阈值。实际报表是否并行,仍需结合执行时的节点和负载确认。
2. 核对完整版本和当前 session 参数
仅凭 8.0.2 Enterprise Edition 无法确认具体能力,需要在控制台检查完整内核小版本:
- 单机并行要求
8.0.2.1.4.1及以上。 - 多机并行要求
8.0.2.2.6及以上。
单机和多机并行的版本条件不同。集群有两个 RO 节点,也不意味着一条查询必然同时使用它们。ePQ 版本要求
在实际执行查询的连接中检查:
SHOW SESSION VARIABLES
WHERE Variable_name IN (
'max_parallel_degree',
'records_threshold_for_parallelism',
'cost_threshold_for_parallelism',
'records_threshold_for_mpp',
'cost_threshold_for_mpp',
'transaction_isolation'
);
SHOW GLOBAL VARIABLES
WHERE Variable_name = 'parallel_degree_policy';
控制台参数名带有 loose_ 兼容性前缀,SQL 中使用的运行时变量名通常不带该前缀。注意区分控制台配置、全局配置和当前 session 的实际值。控制台地址配置与 loose_max_parallel_degree 同时存在时,以地址配置为准。并行查询参数说明
如果策略为 REPLICA_AUTO,RW 节点禁止并行,RO 节点根据实时负载决定是否并行。不要为了让 EXPLAIN 显示并行就直接把整个集群改为 TYPICAL,这会改变负载控制行为。并行策略说明
3. 检查并行阈值
该功能文档列出的参数是 records_threshold_for_parallelism 和 cost_threshold_for_parallelism,应优先检查这两个参数,而不是套用其他数据库的 parallel_cost_threshold。
| 运行时变量 | 判断依据 | 文档默认值 |
|---|---|---|
records_threshold_for_parallelism |
某张表的估算扫描记录数超过阈值 | 10000 |
cost_threshold_for_parallelism |
查询的估算串行执行代价超过阈值 | 50000 |
任意一项达到条件,优化器就会考虑并行,但仍需通过其他检查。表有 5000 万行、实际扫描数百万行或耗时 50 秒,都不能直接说明优化器使用的估算值是多少。代价值也不能直接当成执行秒数。阈值定义
先比较计划中的估算扫描行数和当前阈值。如果估算已经明显超过记录数阈值,仅降低代价阈值通常不能解释或解决问题。若怀疑统计信息失真,再安排更新相关表的统计信息,对比更新前后的计划。
records_threshold_for_mpp 和 cost_threshold_for_mpp 控制从单机并行扩展到多机并行。完全没有并行算子时,应先确认单机并行是否生效。MPP 参数说明
4. 用 optimizer_trace 和 Hint 对比定位原因
可以开启 optimizer_trace,查看优化过程中的行数估算、访问路径和代价判断。采集时要确保 SET、EXPLAIN 和读取 trace 落到同一后端会话。在集群代理下,客户端连接相同并不足以确认这一点。必要时使用临时直连 RO 节点的诊断连接,并显式设置相同的 session 参数。
将下面模板中的 SELECT ... 替换为完整查询:
SET SESSION max_parallel_degree = 4;
SET SESSION optimizer_trace = 'enabled=on';
EXPLAIN FORMAT=TREE
SELECT ...;
SELECT
QUERY,
TRACE,
MISSING_BYTES_BEYOND_MAX_MEM_SIZE,
INSUFFICIENT_PRIVILEGES
FROM information_schema.OPTIMIZER_TRACE;
SET SESSION optimizer_trace = 'enabled=off';
检查 QUERY 是否对应目标查询。MISSING_BYTES_BEYOND_MAX_MEM_SIZE 大于 0 表示 trace 被截断,应增大当前 session 的 optimizer_trace_max_mem_size 后重新采集;INSUFFICIENT_PRIVILEGES 用于判断权限是否影响输出。MySQL trace 用法、OPTIMIZER_TRACE 字段说明
PolarDB 不同内核小版本输出的并行决策信息可能不同。若 trace 包含并行候选及拒绝原因,就按实际内容分析。不能保证所有版本都输出固定名称的拒绝原因字段;没有相关字段,也不能据此认定原因是代价不足。
还可以在相同节点、相同 session 参数下,对原 SQL 做一次 Hint 对照:
EXPLAIN FORMAT=TREE
SELECT /*+ PARALLEL(4) */ ...;
SHOW WARNINGS;
PARALLEL(4) 用于强制开启并行,不受普通数据量判断和 RW/RO 默认行为的限制;SET_VAR(max_parallel_degree=4) 仍受路由、估算代价和数据量影响,两者不能视为等价。强制 Hint 也不能让不支持的操作获得并行能力。Hint 行为说明
如果默认计划串行、加 Hint 后并行,可以进一步检查自动选择条件,但不能单凭这一结果认定是代价阈值问题。若两者都串行,就结合 warnings、trace 和具体 SQL 检查功能限制。
5. JOIN、GROUP BY 和子查询是否会阻止并行?
三表 JOIN 加 GROUP BY 本身不是禁止 ePQ 的条件。PolarDB 为 JOIN、GROUP BY 等操作提供了并行执行策略及相应 Hint。并行查询 Hint
相关子查询也不能一概判定为不支持。官方执行计划示例包含相关 EXISTS 子查询下推到 Worker 的情况。采用 Shared access 策略时,外层查询块无法跨机执行,但仍可在下发节点内单机并行。这一限制针对跨机能力,不能直接解释整个计划没有并行算子。子查询执行计划示例
与本次排查有关的明确限制包括:
- 非 InnoDB 表、使用全文索引的查询无法并行。
- 使用
Index Merge扫描的表无法并行扫描。 SERIALIZABLE隔离级别事务内的查询无法并行。REPEATABLE READ事务内的INSERT ... SELECT、REPLACE ... SELECT,其查询部分无法并行。
这些限制的作用范围不同,需要结合完整 SQL 和当前内核版本判断。使用限制
6. 计划已并行时,再检查执行阶段是否回退
并行 Worker 总量限制、队列满或排队超时,都可能让查询回退为串行。可以在目标查询执行前后,检查同一后端 session 的计数变化:
SHOW SESSION STATUS
WHERE Variable_name IN (
'Parallel_workers_created',
'PQ_refused_over_total_workers',
'PQ_refused_over_max_queuing_time'
);
这些计数是累计值,应比较执行前后的差值。若只能查看全局计数,还需排除其他并发查询的影响。相关限制参数包括 max_parallel_workers、queuing_parallel_degree_limit 和 pq_max_queuing_time。资源控制策略、状态变量说明
确认 RO 上的计划仍为串行后,再结合估算值、trace 和 Hint 对照结果决定是否调低阈值。需要测量实际耗时时,可在合适的环境使用 EXPLAIN ANALYZE。它会真正执行查询,应计入报表负载。执行耗时分析
备注:内容仅供参考。
