1 提交scala程序到Spark 1.1 使用shell spark-shell --packages org.apache.hudi:hudi-spark-bundle_2.11:0.8.0,org.apache.spark:spark-avro_2.11:2.4.4,org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.8,com.googlecode.json-simple:json-simple:1.1,com.alibaba:f

PPTMQ.pptx 比较内容 Kafka RabbitMQ  定位 设计定位 系统间的数据流管道，实时数据处理 用于实时的，对可靠性要求较高的消息传递上 　 例如：常规的消息系统、网站活 例如：订单，交易，充值，流计 性跟踪，监控数据 基础对比 成熟度 成熟:日志领域成熟 成熟 所属社区／公司  Apache Mozilla Public License 社区活跃度  高  高 API完备性  高  高 文档完备性  高  高 开发语言 Sc

第一课 三分钟入门spring-kafka 前提 已经安装好了kafka，kafka的安装和使用不在本教程的范围内，请自行安装。 了解spirng-boot，文章假设读者是使用spring-boot项目。 正式内容 引入spring-kafka的依赖，不需要指定版本。当使用 Spring Boot 时，省略版本，Spring Boot将自动引入与您的Spring Boot 版本兼容的正确版本。 <dependency> <groupId>o

Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。这里主要介绍其原理，至于具体的安装等操作不做介绍，只是提示一下，第一次运行时，先设置前台运行，看会不会报错。 架构 注意下图没有画上zookeeper，请自行脑补。kafka需要连接到zookeeper，来完成注册发现等集群操作。broker都是由zookeeper管理。 先给出 Kafka ⼀些重要概念，让⼤家对 Kafka 有个整体的认识和感知，后⾯还会详细的解析每⼀个概念的作⽤以及更深⼊

💖个人主页：@与自己作战💯作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主🆘希望大佬们多多支持，携手共进📝 如果文章对你有帮助的话，欢迎评论💬点赞👍收藏📂加关注⛔如需要支持请私信我，💯必支持 一、kafka配置(cdh-master-v01) 1、kafka创建topic kafka-topics --zookeeper cdh-client-v01.yunes.com:2181,cdh-master-v01.

分布式事务：业务相关的多个操作，保证他们同时成功或者同时失败 最终一致性：与之对应的就是强一致性 MQ中要保证事务的最终一致性，就需要做到两点 1.生产者要保证100%的消息投递。事务消息机制 2.消费者这一端需要保证幂等消费。唯一ID+业务自己实现的幂等 分布式MQ的三种语义： at least once at most once exactly once:RocketMQ并不能保证exactly once。商业版本当中提供了exactly once的实现机制。 Kafka:在最新版本

1     背景 最近在新项目开发中遇到一个有趣的问题，如何在 SpringBoot 项目中控制 RocketMQ 消费线程数量。如何设置单个 topic 消费线程的最小数量和最大数量，用来区分不同 topic 吞吐量不同。 我们先介绍一下 RocketMQ 消息监听再来说明 RocketMQ 消费线程。 2     RocketMQ 消息监听 设置消费者组为 my_consumer_group，监听 TopicTest 队列，并使用并发消息监听器MessageList

提示：以下是本篇文章正文内容，不足之处欢迎指出 一、MQ引言 1.1 什么是MQ MQ (Message Quene):翻译为 消息队列 ,通过典型的 生产者 和 消费者 模型生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入轻松的实现系统间解耦。别名为消息中间件—通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。 1.2 MQ有哪些 当今

收到生产环境告警，一直好好消费的客户端突然有天消费不到消息，事后找出原因：kafka生产者部分节点升级kafka-client的版本，导致发送到kafka的消息版本变高，由于服务端版本没有变，导致低版本的消费端向服务器获取消息时，服务端报异常 [2021-01-26 17:50:59,952] ERROR [KafkaApi-1] Error when handling request {replica_id=-1,max_wait_time=500,min_bytes=1,max_bytes

首先说明，本人之前没用过zookeeper、kafka等，尚硅谷十几个小时的教程实在没有耐心看，现在我也不知道分区、副本之类的概念。用kafka只是听说他比RabbitMQ快，我也是昨天晚上刚使用，下文中若有讲错的地方或者我的理解与它的本质有偏差的地方请包涵。 此文背景的环境是windows，linux流程也差不多。 官网下载kafka，选择Binary downloads Apache Kafka 解压在D盘下或者什么地方，注意不要放在桌面等绝对路径太长的地方 打开con

@R星校长 基于Flink的城市交通监控平台 1.1 项目整体介绍   近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LE

应用场景，消息可靠投递，消息丢失，消息重复消费，消息的幂等性，消息的顺序性，消息队列积压，延迟队列，消息过期失效，消息队列的高可用 使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能