设计一个实时的流式计算Wordcount
例如从kafka消费数据，使用sparkstream计算Wordcount，要求保证准确性，实时性，可用性，你要怎么实现?如果计算时突然宕机，怎么保证消费kafka数据不丢失，不重复?
使用Kafka对接SparkStreaming计算，那么要保证数据不丢失，和不重复的话，要使用直连方式，并且保证一次性语义，手动管理Offset即可，那么在实现过程中，Offset一定不能丢，所以要手动管理，然后把它保存到其他存储位置即可，每次能拿到保存好的Offset就OK，同时如果Kafka突然宕机或者SparkStreaming宕机都不用担心，只要设置好一次性语义保存幂等数据不会丢，而且Offset在这次任务失败时候不会被提交，所以也不会更新，下次再次消费即可。
相关推荐HOT
更多>>
丝瓜视频官方 之蛇形矩阵
我们最终要输出的是以蛇形摆放之后的字符串再按行串联在一起之后的结果，也就是说每一个字母摆放的列并不重要，重要的是摆放的行号。我们可以很...详情>>
2022-12-07 20:58:39
丝瓜视频官方 之两数相加
丝瓜视频官方 通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。丝瓜视频官方 哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:56:39
设计一个实时的流式计算Wordcount
使用Kafka对接SparkStreaming计算，那么要保证数据不丢失，和不重复的话，要使用直连方式，并且保证一次性语义，手动管理Offset即可，那么在实...详情>>
2022-12-07 20:54:49
丝瓜视频官方 之最长回文串
丝瓜视频官方 通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。丝瓜视频官方 哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:51:53
两两交换链表中的节点
丝瓜视频官方 通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。丝瓜视频官方 哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:46:54
丝瓜视频官方 丝瓜视频苹果版 问答更多>>
新丝瓜视频官方 适合女生学吗?
新哪家丝瓜视频官方 分析丝瓜视频苹果版 班好
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱？怎么挑选丝瓜视频官方 丝瓜视频苹果版 班
新丝瓜视频官方 丝瓜视频苹果版 班需要多少钱？丝瓜视频官方 就业方向有哪些
新丝瓜视频官方 丝瓜视频苹果版 班靠谱吗？丝瓜视频官方 发展前景怎么样
新丝瓜视频官方 分析丝瓜视频苹果版 哪里好
新丝瓜视频官方 丝瓜视频苹果版 学费多少？课程内容是什么
丝瓜视频官方 面试题库 更多>>
丝瓜视频官方 的五个V是什么?
数据及集群管理（三）
数据及集群管理（二）
数据及集群管理（一）
丝瓜视频官方 之hbase的优化读数据方面
丝瓜视频官方 之hbase的优化写入数据方面
开班信息
北京校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
京公网安备 11010802030320号