kafka的topic，partition，replica，message的理解
Topic：Topic可以理解为一个队列，消息根据Topic进行归类。
Topic也可以理解为一个命名的消息流 partition: partition:一个topic可以分为多个partition，每个partition是一个有序的队;
在磁盘上以文件夹的形式存在;
消息最终以文件形式保存在partition文件夹下面，分段存储。
replica:replica指的是消息的备份，为了保证kafka的高可用(当leader节点挂了之后，kafka依然能提供服务)kafka提供了备份的功能。
这个备份是针对partition的。
可以通过default.replication.factor 对replica的数目进行配置，默认值为1，表示不对topic进行备份。
如果配置为2，表示除了leader节点，对于topic里的每一个partition，都会有一个额外的备份。
message:实际写入Kafka中并可以被读取的消息记录。
每个record包含了key、value和timestamp
猜你喜欢LIKE
相关推荐HOT
更多>>
无重复字符的最长子串
题目描述：给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例 1: 输入: "abcabcbb" 输出: 3解释: 因为无重复字符的最长子串...详情>>
2022-10-11 14:52:00
如何自定义累加器
spark提供了一个累加器用于在整个流程中额外执行一个MR任务，它可以在driver端被初始化发送给各个Task，然后在每个Task中为它添加数据，最终经...详情>>
2022-09-30 15:17:00
如何写数据
1. 客户端从zk中获取meta表位置，到对应regionServer上获取该表，或直接从缓存中读取该表。 2. 客户端从meta表中获取要写的数据存放的region和...详情>>
2022-09-26 11:24:00
spark作业的最大并行度
spark作业的最大并行度=excutor个数*每个excutor的cpu core数 但spark的当前并行度取决于task数，而task数=分区数。详情>>
2022-09-23 16:29:00
kafka的topic，partition，replica，message的理解
如果配置为2，表示除了leader节点，对于topic里的每一个partition，都会有一个额外的备份。message:实际写入Kafka中并可以被读取的消息记录。每...详情>>
2022-09-20 16:59:00
丝瓜视频官方 丝瓜视频苹果版 问答更多>>
新丝瓜视频官方 适合女生学吗?
新哪家丝瓜视频官方 分析丝瓜视频苹果版 班好
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱？怎么挑选丝瓜视频官方 丝瓜视频苹果版 班
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱？丝瓜视频官方 就业方向有哪些
新丝瓜视频官方 丝瓜视频苹果版 班靠谱吗？丝瓜视频官方 发展前景怎么样
新丝瓜视频官方 分析丝瓜视频苹果版 哪里好
新丝瓜视频官方 丝瓜视频苹果版 学费多少？课程内容是什么
丝瓜视频官方 面试题库 更多>>
丝瓜视频官方 的五个V是什么?
数据及集群管理（三）
数据及集群管理（二）
数据及集群管理（一）
丝瓜视频官方 之hbase的优化读数据方面
丝瓜视频官方 之hbase的优化写入数据方面
开班信息
北京校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
京公网安备 11010802030320号