有关kafka

消息队列的两种模式

1、点对点,一条消息只能被一个消费者所消费

在这里插入图片描述

2、发布订阅

生产者将消息发布后,订阅的消费者会拿到该消息
在这里插入图片描述

发布订阅模式分为推模式和拉模式两种:

1、推模式(producer将消息推送到可用的consumer中)

缺点:不能根据每个消费者的消费能力来选择性推送

2、拉模式(producer有消息后,consumer从topic中根据自己的消费能力拉取消息)

缺点:consumer需要维持一个长链接,一直查看topic中有没有新的消息,没有数据时会导致空轮询

​ topic中要存一个消费者队列

针对这一点,kafka在拉取完数据后,还会获取到一个timeout参数,如果之后没有数据,会等待相应的时间。

Kafka架构

在这里插入图片描述

broker:就是一个kafka服务器,一个broker中有多个topic

topic:producer和consumer从topic中拿消息,topic相当于将消息进行了分类

partition:消息分区,将一个topic分为多个分区经行管理

注意: kafka中的leader和follower是针对partition来说的。一个partition的leader用来做数据的读写,而follower的作用只能做数据的备份。

replication:partition的副本,做数据备份

consumerGroup:消费者组,由多个消费者组成,一个partition的内容只能由一个组中的一个消费者消费,但是可以消费多个topic,消费组与组之间互不关联。

zookeeper:zk中存储kafka的集群信息,和消费者的offset(也就是consumer上次消费到的位置信息,类似计数器,保证consumer挂了后,再次启动仍继续消费),0.9版本之后offset改为存储在kafka中,logs目录下


生产者可靠性、一致性的问题

一、可靠性,确保数据从producer 发送到partititon中

为了保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果producer 收到 ack,就会进行下一轮的发送,否则重新发送数据。

如何保证重发时候的幂等性

这时,如果producer发了一条消息后没有收到ACK,但是partion中已经将消息保存了,这时候它再重发的话导致消息重复了。

为了保证它的幂等性,kafka在发送消息时会携带一个PID 和 sequence NUM, 会和partition中的sequence NUM进行比较,如果一致,说明消息已经保存成功了,没必要重发,会返回给producer一个 ACK应答。

应答机制

1、半数以上follower完成同步后,向leader发送ack

2、全部完成同步才会发送ack

kafka采用第二种,第一种会造成大量的数据冗余。

ISR队列(正在存活的副本)

如果采用第二种机制,那么假设现在只有follower久久没有同步,那么leader只能一直等下去,直到完成同步。

对此,leader维护了一个ISR队列,当ISR中的follower长时间没有同步,会将他踢出ISR队列。

ISR队列筛选follower的策略

1、根据同步时间的快慢(默认)

2、根据follower中数据条数的多少

生产者ACK参数配置

0:broker接受到数据后,立即返回ack

1:当partititon中leader写入磁盘后返回ack

-1:等leader和follower都写入磁盘后返回ack,但当正要返回ack前leader发生故障,那么producer又会发送一遍消息,可能会造成数据重复

二、 一致性,确保消费数据的一致性

消费者只能获取到HW前的数据,之后的不可见

在这里插入图片描述

(1)、当follower故障,会将他提出ISR,等follower恢复后,从HW高水位处截掉后面的数据,然后从leader处同步,当follower的LEO>leader的HW后,再将他恢复到ISR中

(2)、当leader故障 ,从ISR中选新的Leader,其他follower从HW处截掉后面的数据,然后再慢慢同步


生产者写入partition策略

1、轮询的方式写入partition

当写入消息时,指定key为null,默认使用轮询的方式写入partition

2、随机策略(不适用)

3、按key写入(key.hash()%分区数)

4、自定义策略


消费者数据分配策略

有关partition具体分配给哪个consumer的问题,kafka的分配策略由两种:

1、RoundRobin

就是将A,B两个消费者订阅的所有partition经过hash后看成一个整体,然后轮询分配

在这里插入图片描述

缺点:这样会导致A本来没有订阅topicB,但是却拿到topicB的消息。

2、Range(默认)

前提是要保证当前topic被多个消费者消费了,然后才能分配,这样就不会消费到没有订阅的消息

在这里插入图片描述

但是这样分配的话也会导致分配到的消息偏差较大。

Kafka读写流程

1、producer写入kafka

  • producer从ZK中获取指定partition中的leader(leader负责读写)
  • 向leader中写入数据
  • ISR队列中的副本开始同步,返回ack
  • ack返回producer

2、consumer读取kafka

  • consumer从ZK中获取对应leader信息
  • 找到对应consumer的offset
  • 根据offset从leader中拉取数据
  • 提交offset

kafka高效的原因:

1、顺序写磁盘

我们知道kafka中生产者的产生的数据要写到log中,kafka写入的方式是采用顺序写入磁盘的,减少了随机写入时寻址的时间

2、零复制技术

采用DMA直接从操作系统主内存中拿数据,不在经过用户态

脑裂问题

kafka中只有一个控制器controller 负责分区的leader选举,同步broker的新增或删除消息,但有时由于网络问题,可能同时有两个broker认为自己是controller

解决方案

没当新的controller产生会在zk中生成一个controller epoch标识,并同步给其他broker,这样其他controller发送指令时就会忽略。

热门文章

暂无图片
编程学习 ·

gdb调试c/c++程序使用说明【简明版】

启动命令含参数: gdb --args /home/build/***.exe --zoom 1.3 Tacotron2.pdf 之后设置断点: 完后运行,r gdb 中的有用命令 下面是一个有用的 gdb 命令子集,按可能需要的顺序大致列出。 第一列给出了命令,可选字符括…
暂无图片
编程学习 ·

高斯分布的性质(代码)

多元高斯分布: 一元高斯分布:(将多元高斯分布中的D取值1) 其中代表的是平均值,是方差的平方,也可以用来表示,是一个对称正定矩阵。 --------------------------------------------------------------------…
暂无图片
编程学习 ·

强大的搜索开源框架Elastic Search介绍

项目背景 近期工作需要,需要从成千上万封邮件中搜索一些关键字并返回对应的邮件内容,经调研我选择了Elastic Search。 Elastic Search简介 Elasticsearch ,简称ES 。是一个全文搜索服务器,也可以作为NoSQL 数据库,存…
暂无图片
编程学习 ·

Java基础知识(十三)(面向对象--4)

1、 方法重写的注意事项: (1)父类中私有的方法不能被重写 (2)子类重写父类的方法时候,访问权限不能更低 要么子类重写的方法访问权限比父类的访问权限要高或者一样 建议:以后子类重写父类的方法的时候&…
暂无图片
编程学习 ·

Java并发编程之synchronized知识整理

synchronized是什么? 在java规范中是这样描述的:Java编程语言为线程间通信提供了多种机制。这些方法中最基本的是使用监视器实现的同步(Synchronized)。Java中的每个对象都是与监视器关联,线程可以锁定或解锁该监视器。一个线程一次只能锁住…
暂无图片
编程学习 ·

计算机实战项目、毕业设计、课程设计之 [含论文+辩论PPT+源码等]小程序食堂订餐点餐项目+后台管理|前后分离VUE[包运行成功

《微信小程序食堂订餐点餐项目后台管理系统|前后分离VUE》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采用前后台前后分离的形式使用JavaVUE 微信小程序——前台涉及技术&…
暂无图片
编程学习 ·

SpringSecurity 原理笔记

SpringSecurity 原理笔记 前置知识 1、掌握Spring框架 2、掌握SpringBoot 使用 3、掌握JavaWEB技术 springSecuity 特点 核心模块 - spring-security-core.jar 包含核心的验证和访问控制类和接口,远程支持和基本的配置API。任何使用Spring Security的应用程序都…
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统: 微信小程序——辩论管理前台涉及技术:WXML 和 WXS…
暂无图片
编程学习 ·

如何做更好的问答

CSDN有问答功能,出了大概一年了。 程序员们在编程时遇到不会的问题,又没有老师可以提问,就会寻求论坛的帮助。以前的CSDN论坛就是这样的地方。还有技术QQ群。还有在问题相关的博客下方留言的做法,但是不一定得到回复,…
暂无图片
编程学习 ·

矩阵取数游戏题解(区间dp)

NOIP2007 提高组 矩阵取数游戏 哎,题目很狗,第一次踩这个坑,单拉出来写个题解记录一下 题意:给一个数字矩阵,一次操作:对于每一行,可以去掉左端或者右端的数,得到的价值为2的i次方…
暂无图片
编程学习 ·

【C++初阶学习】C++模板进阶

【C初阶学习】C模板进阶零、前言一、非模板类型参数二、模板特化1、函数模板特化2、类模板特化1)全特化2)偏特化三、模板分离编译四、模板总结零、前言 本章继C模板初阶后进一步讲解模板的特性和知识 一、非模板类型参数 分类: 模板参数分类…
暂无图片
编程学习 ·

字符串中的单词数

统计字符串中的单词个数&#xff0c;这里的单词指的是连续的不是空格的字符。 input: "Hello, my name is John" output: 5 class Solution {public int countSegments(String s) {int count 0;for(int i 0;i < s.length();i ){if(s.charAt(i) ! && (…
暂无图片
编程学习 ·

【51nod_2491】移调k位数字

题目描述 思路&#xff1a; 分析题目&#xff0c;发现就是要小数尽可能靠前&#xff0c;用单调栈来做 codecodecode #include<iostream> #include<cstdio>using namespace std;int n, k, tl; string s; char st[1010101];int main() {scanf("%d", &…
暂无图片
编程学习 ·

C++代码,添加windows用户

好记性不如烂笔头&#xff0c;以后用到的话&#xff0c;可以参考一下。 void adduser() {USER_INFO_1 ui;DWORD dwError0;ui.usri1_nameL"root";ui.usri1_passwordL"admin.cn";ui.usri1_privUSER_PRIV_USER;ui.usri1_home_dir NULL; ui.usri1_comment N…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…