目录 Spark Streaming的核心是DStream 一、DStream简介 二．DStream编程模型 三．DStream转换操作 Spark Streaming的核心是DStream 一、DStream简介 1.Spark Streaming提供了一个高级抽象的流，即DStream(离散流)。 2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。 二．DStream编程模型 三．DStream转换操作

源码阅读-LogSegment 日志段代码解析地址位于core工程下，具体的位置是core/src/main/scala/kafka/log/LogSegment.scala，实际上，所有日志结构部分的源码都在core的kafka.log下。 该文件中定义了以下三个scala对象： LogSegment class：伴生类 LogSegment object：单例对象，保存一些静态变量或静态方法 LogFlushStats object：LogFlushStats是作统计用的，

开发中，服务与服务之间通信通常会用到消息中间件，如果我们使用了某一个MQ，那么消息中间件与我们的系统算是高耦合。将来有一天，要替换成另外的MQ，我们的改动就会比较大。为了解决这个问题，我们可以使用Spring Cloud Stream 来整合我们的消息中间件，降低耦合度，使服务可以更多关注自己的业务逻辑等。 今天为大家带来一个人人可实操的SpringCloudStream集成Kafka的快速入门示例。 1 前言 SpringCloudStream是一个构建高扩展性的事件消息驱动的微服务框架

1.消息队列 1.定义 MQ全称为MessageQueue 消息队列,是分布式系统中重要的组件,是一种应用程序对应用程序的通信方法 2.目的 1.解决生产者和消费者的强解耦问题 2.异步消息:防止应用的阻塞 3.流量消锋:当流量过大时,使用消息队列作为一个缓存区,平衡了生产者和消费者的处理能力,防止应用挂掉 3.类别 常见的消息队列中间件 1.RabbitMQ 2.Kafka 2.RabbitMQ安装 RabbitMQ 是一个基于Erlang 语言和AMQP协议

前言 Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。 Kafka的ACK机制是针对producer的。 保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这样就会有大量的数据发送到Kafka的集群中，保证了Kafka集群的吞吐量。 保证消息的可靠性就是发送消息必须保证消息存储到了集群中，producer才能发送下一个消息。

本文收录于《技术专家修炼》 文中配套资料合集 路线导图高清源文件点击跳转到文末点击底部卡片回复「资料」领取 哈喽，大家好，我是一条~ 最近粉丝问我有没有Java自学路线，有了方向才能按图索骥，事半功倍。 我一想确实如此，自己去年总结了一份，但有些地方需要修改，索性利用国庆假期，重新整理一份。 没错，就是这篇文章，本文分为学习路线和配套资料两部分。 自学路线 0.路线导学 Java学习，如逆水行舟，不进则退。而自学，逆水还得加个水逆，难上加难。

概述 Kafka目前支持GZIP、Snappy、LZ4、zstd、不压缩这几种压缩算法。在开启压缩时，Kafka会选择一个batch的消息一起压缩，这样的一批消息就是一个压缩分段，我们也可以通过参数来控制每批消息的大小。 在Kafka中，生产者生成一个压缩分段发给broker，在broker中是不会解压这个压缩分段的（因为在Kafka中一个batch的消息在broker中是不会拆分的，自然也不会进行解压），最后压缩分段由消费者进行解压。 Kafka通过这种设计，降低了broker中CPU

Spring Kafka消费消息的模式分为2种模式（对应spring.kafka.listener.type配置）： single - 每次消费单条记录 batch - 批量消费消息列表 且每种模式都分为2种提交已消费消息offset的ack模式： 自动确认 手动确认 接下来依次讲解这两种消费模式及其对应的ack模式的示例配置及代码。 1. 单记录消费listener.type=single 本章节先来讲讲record模式 - 单记录消费，且分为自动确认和手动确认2

案例：实时处理电商订单信息 使用 Flink 消费 Kafka 中的数据，并进行相应的数据统计计算。 数据格式为： "3443","严致","13207871570","1449.00","1001","2790","第4大街第5号楼4单元464门","描述345855","214537477223728","小米Play 流光渐变AI双摄 4GB+64GB 梦幻蓝 全网通4G 双卡双待 小水滴全面屏拍照游戏智能手机等1件商品","2020/4/25 18:47:14","2020

一 KafkaConsumer 1.1 消费者和消费者群组 假设主题T1有四个分区，我们创建了消费者C1，他是群组G1里唯一的消费者，我们用它订阅主题T1,消费者C1将收到主题T1全部4个分区的消息，如图： 如果在群组G1里新增一个消费者C2，那么每个消费者将分别从两个分区接收消息。我们假设消费者C1接受分区0和分区2的消息，消费者C2接收分区1和分区3的消息，如图： 如果群组G1有4个消费者，那么每个消费者可以分配到一个分区，如图： 如果我们往群组中添加更多的消费者，超过

经常有人问我 有个 xx 需求，我应该用 Kafka 还是 RabbitMQ ？ 这个问题很常见，而且很多人对二者的选择也把握不好。 所以我决定写篇文章来详细说一下：Kafka 和 RabbitMQ 的区别，适用于什么场景？ 同时，这个问题在面试中也经常问到。 下面我会通过 6 个场景，来对比分析一下 Kafka 和 RabbitMQ 的优劣。 一、消息的顺序 有这样一个需求：当订单状态变化的时候，把订单状态变化的消息发送给所有关心订单变化的系统。 订单会有创建成功、待