一.数组 对编写程序语言来说，数组（Array）都是重要的数据结构之一，主要用来储存数据类型相同的元素。 1.数组定义与使用 Scala中的数组分为定长数组和变长数组，这两种数组的定义方式如下： new Array[T](数组长度)    //定义定长数组 ArryBuffer[T]()                 //定义变成数组 Scala数组的简单使用： 2.数组遍历 二.元组 Scala元组的定义：对多个不同类型的一种简单封装，它将不同的值用括号

学习致谢： https://www.bilibili.com/video/BV1Xz4y1m7cv?p=32 一、依赖关系 宽依赖：有shuffle 子RDD的一个分区会依赖于父RDD的多个分区–错误 父EDD的一个分区会被子RDD的多个分区所依赖–正确窄依赖：没有shuffle 子RDD的一个分区会依赖于父RDD的1个分区–错误 父EDD的一个分区会被子RDD的1个分区所依赖–正确为什么要区分宽窄依赖 对窄依赖：并行化+容错 宽依赖：进行阶段划分，（shuffle后的阶段需要等待sh

   1 Scala集合的常用方法以及Map的可变和不可变 package com.chengzi.collection import scala.collection.mutable /** * Desc: * * 对scala集合做一个梳理 * * @author:chengli * @date:2021 /3/3 9:24 */ object CollectionTest { def main(args: Array[String]): U

目录 前言 DataFrame  创建DataFrame  SQL语法 DSL语法 RDD转换为DataFrame DataFrame转换为RDD DataSet 创建DataSet RDD转换为DataSet DataSet转换为RDD DataSet和DataFrame的转换 RDD、DataFrame、DataSet之间的关系 相同点 区别点 相互转换 sparkSQL-IDEA编程 添加依赖 RDD<=>DataSet<=>D

一.引言 Flink 使用 windowAll 生成 AllwindowedStream 后调用 Trigger 执行窗口触发逻辑，下面对 Trigger 触发器做一个基本的了解。 二.Trigger 简介 Trigger 翻译为触发，扳机，其作用为在一定条件下触发窗口进行计算，如果是内部 operator 则执行对应 operator，如果自定义实现了 ProcessAllWindowFunction，则触发自定义执行逻辑。触发器决定窗口(由窗口赋值器形成)何时准备由窗口函数处理。每

软件准备 （1）Java 1.8 （2）Scala 2.11.12（需要在IDEA中安装） （3）Maven 3.8.2（需要在IDEA中配置） （4）Git 2.33 以上软件需要安装好，并进行环境配置。 （5）spark 2.4.3 源码（官网可下载） 编译源码 （1）修改MAVEN_OPTS，增加Maven编译时内存的大小： 在Maven安装目录下找到bin/mvn.cmd文件，打开在文件中添加 MAVEN_OPTS="-Xmx2g -XX:MetaspaceSize=2G

1.1 Scala概述 1.1.1 什么是Scala？ Martin Odersky在2001年开始开发Scala Sca（scalable）La（language） 设计目标 消除常见分布式处理的bugs 让编程框架做规模决策 让程序员根据需要进行控制 1.1.2 为什么学习Scala？ 可扩展 面向对象 函数式编程 兼容JAVA 类库调用 互操作 语法简洁 代码行短 类型推断 抽象控制 静态类型化 可检验 安全

val data: RDD[String] val data2 = data.map(x => { val y = x.split("\\|\\|", -1) y }) val data3 = data2.toDF() data3.show(10) +--------------------+ | value| +--------------------+ |[66,................]| |[81,...

Scala面向对象编程 Scala语言是面向对象的： Java是面向对象的编程语言，由于历史原因，Java中还存在着非面向对象的内容：基本类型 ，null，静态方法等。 Scala语言来自于Java，所以天生就是面向对象的语言，而且Scala是纯粹的面向对象的语言，即在Scala中，一切皆为对象。 在面向对象的学习过程中可以对比着Java语言学习。 1. 类与对象 类是抽象的，概念的，代表一类事物，比如人类,猫类等 对象是具体的，实际的，代表一个

生产者发送消息到topic 报错信息如下： org.apache.kafka.common.errors.LeaderNotAvailableException: Leader not available for partition [myTopic0087,0] Caused by: kafka.common.BrokerEndPointNotAvailableException: End point with security protocol PLAINTEXT not found for

目录  频繁的交易如何记录这些交易信息呢？  那我们的链又是如何连接起来的？  谁做记账先生呢？ 共识机制   如何处理有些人距离账目的公共太远的问题？  安全性： 去中心化：  总结：    频繁的交易如何记录这些交易信息呢？ 我们可以采用记账先生去记录这些交易信息，并且每天会将这些信息公布出来——>我们每个人都会去看这些信息，如果没问题的话就会进行拷贝（相当于是一个副本）  这样我们每天就会生成一个由记账先生记录的账本   这些账本 都是独立存

一、第一个scala案例与java不同的语法点 1、参数声明方式: scala--> 参数名 :类型，java--> 类型 参数名 2、public关键字：scala中没有public关键字，默认是公共的。 3、unit类型：相当于Java中的void，表示没有返回值 4、scala中声明方法使用def关键字 5、static关键字：scala中无static关键字，由object实现静态方法的功能 object hello { def main(args: Arra