1、定时任务入口 这里选择kraft的模式启动的定时任务，所以入口是在BrokerServer.scala文件中，如果选择ZooKeeper模式的入口在KafkaServer.scala def startup(): Unit = { if (!maybeChangeStatus(SHUTDOWN, STARTING)) return try { info("Starting broker") /* start schedule

RDD的持久化 1、RDD Cache 缓存 RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。 // cache 操作会增加血缘关系，不改变原有的血缘关系 println(wordToOneRdd.toDebugString) // 数据缓存。 wordToOne

引言 springboot整合是采用原生的mongo-driver 来实现，可以动态链接多个库，无需关注整合springboot，只要自己实现springboot-starter。快速入门文档：http://mongodb.github.io/mongo-java-driver/3.11/driver/getting-started/quick-start/#mongodb-driver-quick-start 。介绍的非常详细，完全可以操作入门。 pom依赖 本文采用的版本号是3.1

springboot 联表查询 业务分析： 在开发管理系统时，遇到需要将 User 和 对应的 Organization 联表查询起来，找到用户所对应的组织信息 数据库 user表中字段有：user_id、user_name、user_age、user_org_id organization表字段有：org_id、org_name entity包下的User类 @Data public class User{ private Integer userId; pri

Springboot-cli 开发脚手架系列 简介 Gateway是在Spring生态系统之上构建的API网关服务，基于Spring 5，Spring Boot 2和Project Reactor等技术。 SpringCloud Gateway是Spring Cloud的一个全新项目，基于Spring 5.0+Spring Boot 2.0和Project Reactor等技术开发的网关，它旨在为微服务架构提供—种简单有效的统一的API路由管理方式。 SpringClou

Centos8 安装TomCat 上传安装包到Centos系统中，并进入到相对应的目录下，解压到指定路径：/usr/local tar -zxvf apache-tomcat-9.0.34.tar.gz -C /usr/local 进入到安装目录 cd /usr/local 输入文件预览指令 ll   (两个小写的L)，查看会有一个类似于： 然后进入到tomcat的bin目录下： cd apache-tomcat-9.0.34/bin/ 输入文件预览指令： ll  (

1. 什么是网关 网关:就是服务的统一入口;比如说一个城池, 城门相当于网关; 那么我们为什么使用网关?:在微服务架构下单体应用被切割成多个微服务,如果讲所有的微服务直接对外暴露,势必会出现安全方面的各种问题,另外内外耦合严重。 服务网关分为 流量网关 、 业务网关。流量网关: 顾名思义就是可控制流程进入集群的网关,有很多工作需要在这里做,对于一个服务集群,势必会有很多非法请求、无效请求,这个时候就可以在流量网关这里讲这些请求拒之门外,降低集群的请求压力。流量网关是定义全局性的跟

发现问题 object serialDemo { def main(args: Array[String]): Unit = { val sparConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(sparConf) val rdd: RDD[String] = sc.makeRDD(Array("hello world", "hel

说明： （1）本篇博客的内容：在Linux（CentOS 7）上安装RabbitMQ； 目录 0.使用【echo "export LC_ALL=en_US.UTF-8"  >>  /etc/profile】把Linux系统的编码设置为utf-8； 1.使用【curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash】，

前言 分享一些自己学习的笔记。 如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。谢谢！ 一、Http协议支持 8种请求方式 HTTP请求方式： HTTP 1.0 定义了三种请求方法：GET / POST / HEAD HTTP 1.1 增加了五种请求方法： OPTIONS / PUT / DELETE / TRACE / CONNECT 常用的 GET 和 POST 两种方式请求。 1、GET 请求 GET：GET 请求是常见的请求，也是HTTP协议中最

1. Selenium Edge的配置         由于本人只使用Edge浏览器，所以在得知Selenium对PantomJS的支持取消后，在网上找了各种关于Edge浏览器的资料。配置Selenium Edge有多种方法，但这里只介绍一种方法。 (1) 下载MSEdgeDriver驱动 MSEdgeDriver下载地址  此处需要注意将浏览器更新到最新版本，以及选择正确的下载通道 解压下载的压缩包后会得到名为 msedgedriver.exe 的可执行程序，将这个程序放在任意一个地

一、window系统安装Scala 1.下载安装 首先去官网http://www.scala-lang.org/，然后点击导航栏的DOWNLOAD，进入下载链接：http://www.scala-lang.org/download/直接点击上面的按钮下载Windows安装包。 msi格式，可以直接安装，然后双击运行，直至安装成功，此时查看环境变量会发现path路径里面已经自动配置了 scala的bin目录 。 zip格式，解压后自己配置环境变量即可。 注意：安装目录不要有中文和