源数据样式 {"name":"Michael","sex":1} {"name":"Andy", "age":30,"sex":2} {"name":"Justin", "age":19}   解析后为map键值对   代码如下： 1. pom.xml  引入依赖： /*for json*/ <dependency> <groupId>com.alibaba</groupId> <artifactId>fast

Scala编程语言入门 Scala进阶 trait特质 特质是scala中代码复用的基础单元 它可以将方法和字段定义封装起来，然后添加到类中 与类继承不一样的是，类继承要求每个类都只能继承一个超类，而一个类可以添加任意数量的特质。 特质的定义和抽象类的定义很像，但它是使用trait关键字 1. 作为接口使用 使用extends来继承trait（scala不论是类还是特质，都是使用extends关键字） 如果要继承多个trait，则使用with关键字

1）至简原则细节 （1）return可以省略，Scala会使用函数体的最后一行代码作为返回值 （2）如果函数体只有一行代码，可以省略花括号 （3）返回值类型如果能够推断出来，那么可以省略（:和返回值类型一起省略） （4）如果有return，则不能省略返回值类型，必须指定 （5）如果函数明确声明unit，那么即使函数体中使用return关键字也不起作用 （6）Scala如果期望是无返回值类型，可以省略等号 （7）如果函数无参，但是声明了参数列表，那么调用时，小括号，可加可不加 （8

本文主要通过代码练习熟悉Flink DataStream相关API的功能和使用。读者可完成简单的准备工作后跟着一起完成练习 准备 一台装有 Docker 的 Linux 或 MacOS 计算机。 使用 Docker Compose 启动容器 通过 wget 命令自动下载该 docker-compose.yml 文件，也可以手动下载 mkdir flink-service; cd flink-service; wget https://gitee.com/WX_in_gitee/fl

List(“a”,“b”,“c”,“d”)表示具有一个字段的记录,因此结果集在每行中显示一个元素. 要获得预期的输出,该行应该包含四个字段/元素.因此,我们将列表包装为List((“a”,“b”,“c”,“d”)),它代表一行,包含四个字段. 以类似的方式,具有两行的列表作为List((“a1”,“b1”,“c1”,“d1”),(“a2”,“b2”,“c2”,“d2”)) scala> val list = sc.parallelize(List(("a", "b", "c",

1、下载解压spark安装包 Apache官网下载Spark，拖拽到master节点上lala用户目录下，解压 https://archive.apache.org/dist/spark/spark-1.4.0/ 执行如下语句进行解压缩 tar -zvxf spark-1.4.0-bin-hadoop2.4.tgz 2、配置Spark-env.sh (1) 进入spark-1.4.0-bin-hadoop2.4/conf，复制其中的spark-env.sh.template

Scala变量和数据类型 JunLeon——go big or go home 目录 Scala变量和数据类型 一、Scala注释及代码规范 1、Scala注释 2、代码规范 二、Scala变量 1、变量与常量 2、标识符的命名规范 3、字符串的输出 4、键盘输入 三、Scala数据类型 1、Scala数据类型 2、整数类型 3、浮点数类型 4、字符类型 5、布尔类型-Boolean 6、Unit类型、Null类型和Nothing类型（重点）

1.概述 今天偶然看到kafka有个类 CoordinatorClient ，然后因为新遇到也不不知道干啥的，就去看看 然后写了一个测试类如下 /** * 测试点：今天偶然看到这个类，然后必须要看看这个类是干嘛的呀 有什么用 * 先随便测试一下吧 */ public void status() throws Exception

1.安装 解压缩 flink-1.10.1-bin-scala_2.12.tgz，进入conf目录中。 1）修改 flink/conf/flink-conf.yaml 文件： jobmanager.rpc.address: hadoop102 2）修改 /conf/slaves文件： hadoop102 hadoop103 hadoop104 3）分发给另外两台机子： [atguigu@hadoop102 module]$ xsync flink/ 2.flin

系列文章目录 初识推荐系统——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（一） 利用用户行为数据——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（二） 项目主要效果展示——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（三） 项目体系架构设计——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（四） 基础环境搭建——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（五） 创建项目并初始化业务数据——基于Spark平台的协同过滤实时电影推荐

目录 一、搭建Scala的Eclipse开发环境 （一）、安装Scala插件 二、搭建Scala的IntelliJ IDEA开发环境 （一）启动IDEA （二）、安装Scala插件 （三）、配置IDEA使用的默认JDK （四）、创建Scala项目 1、创建Scala项目 2、创建Scala类—HelloScala 3、创建Scala单例对象 – TestHelloScala 一、搭建Scala的Eclipse开发环境 （一）、安装Scala插件 无法访问官网（

前言 本期将介绍 Spark 中一个抽象的概念——RDD，要学习 Spark 就必须对 RDD 有一个清晰的认知，RDD是 Spark 中最基本的数据抽象，代表一个不可变、可分区、元素可并行计算的集合。 本期学习目标 RDD 的概念 RDD 的特点 RDD 的核心结构 RDD的概念 RRD全称叫做弹性分布式数据集（Resilient Distributed Dataset），从它的名字中可以拆解出三个概念。 Resilient ：弹性的，包括存储和计算