kafka支持哪些消息交付语义？

1 背景

在读完kafka官方文档，kafka设计里的消息交付语义一章后，给我的第一印象是内容很抽象，于是草拟和总结了给个副标题，并把相关内容进行了归类；有些生涩的句子，尽量用大白话和举例进行说明，并加入了总结。

消息交付语义的级别有哪些？

消息交付，即消息在生产端，broker端，消费者端的传递保证。

最多一次——消息可能会丢失，但永远不会重新传送。
至少一次——消息永远不会丢失，但可以重新传送。
恰好一次——这就是人们真正想要的，每条消息都传递一次且仅一次。

kafka 支持哪些消息交付语义？

根据英文文档，进行了总结

###################以下为个人观点###################

kafka 真的支持了 最少一次 的交付语义吗？

我的回答是：不同的条件下，可能支持了，也可能没支持。

kafka支持最少一次交付的前提条件

生产端：
kafka生产端在发送消息时，如果遇到底层网络问题，可能会导致消息发送给了broker端，也有可能网络闪断或者丢包，发送的消息可能丢了；但最后的结果是，生产端会根据指定的参数retries，进行一定次数的重试。以此来保证生产端，做到消息至少传递一次。即发送失败了，就重试吧。

所以生产端 支持"最少一次"的前提条件 有如下：

生产端的应用在重试的时候，没有重启，或者宕机

网络，或者broker端，需要在生产端重试次数用完之前恢复

消费者端：
消费者端保证消息至少被消费一次的建议是：在消费者端消费完消息后，在手工提交offset；伪代码如下：

 

while(true){ 
consumer.poll(); 
XXX 
consumer.commit();
}

 

具体原因和说明见：juejin.cn/post/729328…

broker端：
broker端，要实现此交付，主要是保证消息不丢。kafka 数据是具备高可靠的，但不代表你的kafka集群就具备了此功能。需要有如下配置：

第一：生产端参数 ack 设置为all

第二：在broker端 配置 min.insync.replicas参数设置至少为2

第三：在broker端配置 replicator.factor参数至少3

第四：在broker端配置 unclean.leader.election.enable 参数建议设置为false

具体原因和说明见：juejin.cn/post/729328…

不支持的情况下，如何去保证消息交付最少一次的保证

消费者端和broker端，可以根据配置和对应代码编写顺序进行解决；但生产端在进行重试时，还需依赖生产端应用的稳定性，底层网络和broker端的可用性；

生产端之所以需要这三个条件的支持，还是生产端没有把待发送消息进行持久化，毕竟待发送的消息是保存在jvm内存中的，jvm重启或者OOM或者宕机了，内存中的消息也就丢了；
如果把待发送的消息进行了持久化，即使应用宕机，网络失败，broker不可用，但在经过应用重启，网络和broker恢复，也可以保证待发送消息不丢失，做到消息的至少一次交付。

　　审核编辑：汤梓红