1.Kafka 可以保证同一个分区里的消息是有序的。也就是说消息发送到一个Partition 是有顺序的。
kafka系列-kafka多分区的情况下保证数据的有序性 - weixin_41279060的博客 - CSDN博客
这篇文章解决的本质还是将相同数据发送到一个Partition中，注意发送消息可以指定分区。
java math.abs(x)是取绝对值
2.参数设置
retires 设为大于1
max.in.flight.request.per.connection 设为1
max.in.flight.requests.per.connection意思
指定了生产者在接收到服务器响应之前可以发送多个消息，值越高，占用的内存越大，当然也可以提升吞吐量。发生错误时，可能会造成数据的发送顺序改变,默认是5 。
解释：max.in.flight.request.per.connection 设为1的时候也就是说只接受1条数据当接受到2而1没有收到则会从
retires 重新获取，这样就会等1到了再取请求2数据。
全局顺序
的解决办法通常是最为保守的方式：
全局使用一个生产者
全局使用一个消费者（并严格到一个消费线程）
全局使用一个分区（当然不同的表可以使用不同的分区或者topic实现隔离与扩展）
局部顺序
同一key分发到同一partition上面.
private int partitionDefine(String keyToPartition) {
if (keyToPartition == null) {
return new Random().nextInt(numPartitions);
} else {
return Math.abs(keyToPartition.hashCode()) % numPartitions;
}
}
网友评论