面试官：Kafka会丢消息吗？

 

 

Kafka 会丢失信息吗？

许多开发人员普遍认为，Kafka 的设计本身就能保证不会丢失消息。然而，Kafka 架构和配置的细微差别会导致消息的丢失。我们需要了解它如何以及何时可能丢失消息，并防止此类情况的发生。

下图显示了消息在 Kafka 的生命周期中可能丢失的场景。

01 生产者（Producer）

当我们调用 producer.send() 发送消息时，消息不会直接发送到代理。

消息发送过程涉及两个线程和一个队列：

1. 应用程序线程
2. 消息累加器
3. 发送线程（I/O 线程）

我们需要为生产者配置适当的 "acks "和 "retries"，以确保消息被发送到代理。

02 消息代理（Broker）

当代理集群正常运行时，它不应该丢失消息。但是，我们需要了解哪些极端情况可能会导致消息丢失：

1. 为了提高 I/O 吞吐量，消息通常会异步刷到磁盘上，因此如果实例在刷新之前宕机，消息就会丢失。
2. Kafka 集群中的副本需要正确配置，以保持数据的有效副本。数据同步的确定性非常重要。

03 消费者（Consumer）

Kafka 提供了不同的提交消息的方式。自动提交可能会在实际处理记录之前确认对记录的处理。当消费者在处理过程中宕机时，有些记录可能永远不会被处理。

一个好的做法是将同步提交和异步提交结合起来，在处理消息的循环中使用异步提交以提高吞吐量，在异常处理中使用同步提交以确保最后的偏移始终被提交。

下图是这个方法的伪代码：

try {
    while (true) {
    ConsumerRecords records = consumer.poll(Duration.ofMillis(1000));

    for (ConsumerRecord record : records) {
        // process records one by one
    }

    consumer.commitAsync();
    }
} catch (Exception e){
    // exception handling 
} finally {
    try {
        consumer.commitSync();
    } finally {
        consumer.close();
    }      
}