Spark-Core 介绍 计算引擎，类似MapReduce，将数据存放在内存中，减少磁盘IO，他是有scala编写的 总体技术栈讲解 Spark Streaming 流式计算框架 Spark GraphX 图形计算引擎 ML Base 机器学习 Spark SQL 使用SQL处理业务 优点 更快 易于使用 Spark Sql 支持多种环境 运行模式 Local 多用于本地测试，如在 eclips

因官方parcel下载地址关闭，所以需要手动编译集成。 文章引用自：cdh6 flink 安装«海底苍鹰(tank)博客 与文中不同的是，我们需要在cdh6.2上集成flink1.11.6，下面一起来试试吧 clone git项目 用于编译parcel包，提供给CDH git clone https://github.com/pkeropen/flink-parcel.git 下载完毕，进入目录 vim flink-parcel/flink-parcel.properties

GULP(General Utility Lattice Program)基于经典的势能模型，能够以此计算材料的一系列物性，包括晶格优化，原子位置优化，二阶弹性系数，经典势能模型参数拟合，声子计算，缺陷计算等。计算准确程度依赖于势能模型和参数的准确程度，其结果可以作为分子动力学计算的补充。 GULP的官网地址：GULP - Home 下载需要注册提供邮箱，然后根据链接下载，这里安装以版本5.2为例。 虽然经典势能模型的计算量一般并不大，很多计算只需要安装串行版本即可，串行安装非常简单，只要

Idea 导入maven项目：编译运行时报找不到或无法加载主类异常 项目相关：主要工具类语言是 Java ；业务类语言是 Scala 首先将项目的Maven设置成本机运行的，Scala SDK 选择已安装本地的 Maven Path Scala SDK 异常表象：找不到或无法加载主类异常 一 查看项目是否有多个Module？ 若有多个，只保留当前需要用工程路径。 点击P右边的删除即可 二 清除缓存并重启 找到 Invalidate Caches，并清理caches

https://blog.csdn.net/huo065000/article/details/78964382 因为function是一个接口，所以如果在类中使用的话直接定义function使用应该也可以，类似这样： Function getStringLength = t -> t.length(); 然后将这个函数对象进行调用(感觉跟scala的用法差不多，scala里函数是第一公民 ，现在 java也搞了函数式编程) 个人测试： Function的简单使用： @Te

整理 | 王启隆 透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。 今天是 2021 年 9 月 5 日，历史上的今天是可口可乐公司诞生的日子，可口可乐公司是美国最大的软饮料、糖浆、果汁及咖啡、茶叶生产企业之一，其前身可追溯到1886年创立的一家饮料企业。可口可乐的诞生可谓是影响了无数人的日常生活和身体健康，现在浏览这篇文章的你是否在最近喝过可乐呢？看看在科技历史上的今天，又发生过哪些关键事件，改变了我们如今使用的技术和工具。 1932 年 9 月 5 日：DRAM

0.写在前面 目前Spark官方提供的最新版本3.2.0，是2021年10月份发布，但是该版本搭建Windows下环境，在使用spark-shell时，会报错，尚无解决方案（不知道现在解决没有）。所以我安装的是3.1版本 所使用的到的版本spark 3.1.3 hadoop 3.2.1 scala 2.12 (注意，spark3.1.2不支持Scala2.13） java 1.8 使用到的链接scala官方下载spark官方下载hadoop官方下载winutils下载 另所有使用的东

第 1 章 Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置         Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。         资源的分配在使用脚本提交 Spark 任务时进行指定，标准的 Spark 任务提交脚本如下所示： bin/spark-su

接上文：spark 特征工程 – 分箱 Binning（如何实现等频、等宽分箱）

1. 前言 最近发现一款神器「 Hamibot 」，它是一款 Android 端的自动化工具，它基于 AutoJS 源码进行的二次开发 官方网站：https://docs.hamibot.com/ Hamibot 脚本市场提供了很多脚本，我们都可以免费导入进行试用 首先，我们在 PC Web 的控制台添加一个机器人，然后使用手机通过「 配对码 」进行配对，接着从脚本市场选择一个功能脚本导入，最后在控制台运行脚本就可以在手机上运行一系列自动化操作了 当然，我们也可以根据官方文档编写

收到生产环境告警，一直好好消费的客户端突然有天消费不到消息，事后找出原因：kafka生产者部分节点升级kafka-client的版本，导致发送到kafka的消息版本变高，由于服务端版本没有变，导致低版本的消费端向服务器获取消息时，服务端报异常 [2021-01-26 17:50:59,952] ERROR [KafkaApi-1] Error when handling request {replica_id=-1,max_wait_time=500,min_bytes=1,max_bytes

文章目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。   def main(args: Array[String]): Unit = {    val i = 10 / 0          println("你好！")   } Exception in thread "main" java.lang.ArithmeticException: / by zero at ForDemo$.main(ForDemo.scal