Kafka Share Consumer 无法消费消息,应该如何排查?
建议先检查 share group 的起始 offset,以及单 broker 环境下的 share group 状态主题配置。测试在 Spring 上下文启动后立即发送消息,消息可能先写入,share-partition 的起始 offset 才完成初始化。在默认的 share.auto.offset.reset=latest 下,这些消息可能被跳过。仅凭代码还无法确定唯一根因,需要结合 broker 和 consumer 日志验证。
为什么发送成功,listener 仍然收不到?
Producer 发送成功只能说明消息已经写入 topic。Share Consumer 还需要加入 group、初始化分区状态并获取消息。
Kafka 4.2 的 share.auto.offset.reset 默认值是 latest,用于初始化 share-partition 的起始 offset。如果测试消息在初始化前已经写入,起始位置可能落在这些消息之后。@SpringBootTest 完成上下文初始化,也不能证明 Share Consumer 已经完成上述步骤。这个时序问题是根据代码和配置语义推断的可能原因,仍需验证。Kafka 4.2 Group Configs
需要配置的是 share group 的 share.auto.offset.reset。普通 consumer 的 auto.offset.reset=earliest 不能替代该设置。
1. 在消费启动前配置 share group
这个示例需要消费完整的测试数据,可以将测试 group 的初始化策略设为 earliest。该参数属于 group 配置,需要通过 Admin API 设置。
在现有 ShareConsumerConfig 中增加以下方法:
private void configureShareGroup() throws Exception {
Map<String, Object> adminProps = Map.of(
ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers
);
ConfigResource resource = new ConfigResource(
ConfigResource.Type.GROUP, DEMO_GROUP_NAME
);
AlterConfigOp operation = new AlterConfigOp(
new ConfigEntry("share.auto.offset.reset", "earliest"),
AlterConfigOp.OpType.SET
);
try (Admin admin = Admin.create(adminProps)) {
admin.incrementalAlterConfigs(
Map.of(resource, List.of(operation))
).all().get(30, TimeUnit.SECONDS);
}
}
所需的 Kafka Admin API 类型如下,List、Map 和 TimeUnit 使用对应的 JDK 类型:
import org.apache.kafka.clients.admin.Admin;
import org.apache.kafka.clients.admin.AlterConfigOp;
import org.apache.kafka.clients.admin.ConfigEntry;
import org.apache.kafka.common.config.ConfigResource;
然后调整现有 Bean 方法的声明,在创建 factory 前调用它,保留后续原有属性和 listener 注册代码:
@Bean
public ShareConsumerFactory<String, String> shareConsumerFactory()
throws Exception {
configureShareGroup();
// Keep the existing factory creation and listener registration here.
}
上面的方法体标出了调用位置,需要与原方法合并。同步等待 Admin 操作完成,可以在启动时直接发现配置失败。这个做法与 Spring Kafka 文档中的 share group 配置方式一致。Spring Kafka Share Group Offset Reset
earliest 是初始化策略,不会自动回退已经建立消费状态的 group。重复验证时,使用全新的测试 group,并同步修改 factory 和 @KafkaListener 中的 groupId;也可以重新创建不保留旧数据的测试环境。
2. 核对单 broker 配置并固定镜像版本
Share groups 使用内部主题 __share_group_state 保存状态。Kafka 4.2 要求单 broker 环境将以下配置设为 1:
share.coordinator.state.topic.replication.factor=1
share.coordinator.state.topic.min.isr=1
业务 topic 的 new NewTopic(DEMO_TOPIC_NAME, 1, (short) 1) 只影响该业务 topic,不能代替内部状态主题的配置。Kafka 4.2 升级说明
测试容器可以显式指定这些值,并将镜像固定到要复现的版本:
@Container
static KafkaContainer kafkaContainer = new KafkaContainer(
DockerImageName.parse("apache/kafka:4.2.0"))
.withEnv("KAFKA_SHARE_COORDINATOR_STATE_TOPIC_REPLICATION_FACTOR", "1")
.withEnv("KAFKA_SHARE_COORDINATOR_STATE_TOPIC_MIN_ISR", "1");
不要直接认定原容器缺少这两个参数。Kafka 4.2.0 随附的示例 server.properties 已将它们设为 1,实际运行值还取决于镜像和容器启动配置,应检查最终生效的配置。Kafka 4.2.0 server.properties
latest 是可变标签,使用它无法固定复现 Kafka 4.2.0。设置 Maven 的 kafka.version 也只影响项目依赖,不会改变容器里的 broker 版本。
3. 保留 listener 签名,先不要改为手动确认
onMessage(ConsumerRecord<String, String> record) 是受支持的监听方法签名。Spring Kafka 4.1 默认由容器管理确认,监听方法正常返回后,容器会确认记录。原代码没有配置手动确认,不能仅凭注释掉的 SHARE_ACKNOWLEDGEMENT_MODE_CONFIG 判断问题来自缺少 acknowledgment。Spring Kafka Record Acknowledgment
项目使用的是 RC 版本,仍应核对实际解析到的 Spring Kafka 依赖及对应版本文档。仅覆盖 kafka.version,不能说明 Spring Kafka 版本也发生了变化。
4. 让测试直接暴露发送失败
原测试只给发送 Future 注册了成功回调,测试线程没有等待发送结果。调试时可以显式等待每次发送完成,再等待消费结果:
@Test
public void testSendMessage() throws Exception {
for (String word : List.of(
"the", "quick", "brown", "fox", "jumps",
"over", "the", "lazy", "dog")) {
kafkaTemplate.send(DemoApplication.DEMO_TOPIC_NAME, word)
.get(10, TimeUnit.SECONDS);
}
Awaitility.waitAtMost(Duration.ofSeconds(30))
.untilAsserted(() ->
assertThat(listener.getWordCount("the")).isEqualTo(2L));
}
这样有助于区分发送失败和消费失败,但无法单独消除 latest 带来的初始化时序问题,应与前面的 group 配置一起使用。
如果仍然没有消费,检查 consumer 是否持续报错、__share_group_state 是否创建成功,以及 group 是否已有成员。可以使用 Kafka 4.2 的工具查看实际 group 状态,将占位符替换为测试环境的值:
bin/kafka-share-groups.sh \
--bootstrap-server '<bootstrap-servers>' \
--describe \
--group '<DEMO_GROUP_NAME>' \
--members
consumerAdded 日志只表示 factory 创建了 consumer,不能据此认定它已经加入 group 并准备好接收消息。可以通过 share group 工具进一步核对成员信息和消费状态。Kafka 4.2 Managing share groups
备注:内容仅供参考。
