声明：本文是《工作流任务调度系统：Apache DolphinScheduler》的阅读笔记，如有侵权，请联系本人删除！ 1. 概述 Apache DolphinScheduler 官网地址：https://dolphinscheduler.apache.org/ Apache DolphinScheduler 是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

一 副本的作用 1.Kafka 副本作用：提高数据可靠性。 2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。 读写由leader来完成，follower只备份，和leader同步数据，leader发生故障，follower顶上去。 leader副本：可以理解为某个分区中，除了不是副本的那个分区。 3.Kafka 分区中的所有副本统称为 AR（Assig

安装过程比较曲折，阅读了很多dl的博客，并不是每一种都能顺利解决我自己的问题，但好在费尽周折之后安装成功了，于是将遇到的一些问题记录在这里，表述有问题的地方还请各位指出。 零、几点说明 1，本文默认已安装Anaconda，Win10系统 2，本人安装主要遇到的问题是： conda list有pytorch但是import torch失败 import torch成功但是torch.cuda.is_available()返回false 3，主要参考的博客如下： A, 两步搞定pytor

图像评价指标的综合记录： 一、信息熵 熵是衡量图像中所包含的信息量的大小， 熵越大说明包含的信息越多，意味着可以从处理后的图像中获取更多的信息，用信息熵来计算图像的熵值。 代码： import cv2 import numpy as np import math tmp = [] for i in range(256): tmp.append(0) val = 0 k = 0 res = 0 #'img/1-3.jpg'=6.0404 ; out2.j

linux系统安装步骤 本文章步骤比较多，都是一步步操作的指导，适用于系统小白 PS:本文是针对虚拟机中虚拟主机安装contos6.9系统为例，其他版本安装可能略有差距。 第一步：开启新建虚拟机，进行linux系统安装第二步：默认选择第一个安装系统 第二步：默认选择第一个安装系统 第三步： 选择安装系统后，会对光盘进行检测，我们用的是镜像所以直接选择跳过就可以了 第四步：选择下一步 第五步： 键盘语言安装选择，最好选择英文键盘 第六步：选择基本的存储设备方式（安装在本地磁盘）。两种：一种

问题描述： 按提示输入命令报错：         在命令窗中我按照要求，进行升级，敲入‘python -m pip install --upgrade pip’，但是提示我安装失败。  解决办法：         这个时候我看到，检查升级不能覆盖，这个时候可以去到你的安装目录（venv/Lib/site-packages），找到site-packages文件夹，把原来的pip-10.0.1.dist-info这个消息目录删除，（很多时候的安装不成功都是和这个目录有关系）。下图我是

Hadoop（伪分布）+ Spark（Local）软件安装及环境配置 前言 为了对数据进行分析，我们必须进行环境搭建。对于初学者来说，我们一般用Linux搭建环境，本文介绍的就是在Ubuntu上搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境。 一、安装虚拟机 1.下载Ubuntu16.04镜像 镜像源文件：下载地址 提取码：ontd 下载完成之后，进行虚拟机安装及配置，镜像位置选择下载好的Ubuntu16.04镜像。 二、Hadoo

集群Redis cluster 1.集群介绍 Redis Cluster是redis的分布式解决方案，在3.0版本正式推出。 当遇到单机、内存、并发、流量等瓶颈时，可以采用Cluster架构方案达到负载均衡的目的。 Redis cluster之前的分布式方案有两种： 1）客户端分区方案，有点逻辑分区可控，缺点是需要自己处理数据路由，高可用和故障转移等。 2）代理方案，优点是简化客户端分布式逻辑和升级维护便利，缺点加重架构部署和性能消耗。 2.数据分布 分布式数据库首

一、环境         （1）操作系统：Linux (Ubuntu 20.04)         （2）Hadoop 版本：3.3.2         （3）JDK 版本：1.8 或者以上版本 （4）Java IDE：Eclipse 二、教程步骤         （1）Hadoop 安装           该安装指南是在第一次实验的虚拟机中完成，所以例如安装 vim、更新 apt 或者换源等操作省去。若同学们创建新的虚拟机完成，则需要自行重新安装配置。         有同学

一年的时间，终于学到了分布式的时候 在进行实践前，要先了解什么是分布式？分布式的意义是什么？（面试大几率会问，如果你写了的话） 一、什么是分布式？ 将系统拆分为多个节点（计算机服务器） 通过计算机网络与节点（可简单的理解为一台计算机）相连 分布式最早出现的目地首先是解决单点问题，避免单点故障，然后解决了性能问题 二、分布式的特点 系统容量增加 将原本复杂的业务从一台服务器上拆分到对多台服务器上，是系统容量从一条服务器变成了多台服务器的容量。 增强系统可用

大家好，我是正在装逼学习的二哥。 今天给大家分享一些让人直呼“哇塞”的 Java 知识总结项目，二哥敢说，只要看完其中任何一个，都能变大佬！ 分享之前，随便唠点心里面的一些感受。之前的那篇奉劝那些想把编程学好的学弟学妹们！竟然是最近俩月阅读最好的一篇文章了。 有读者留言说很感谢我之前的解惑，帮他走出了迷茫，迎来了生机； 还有读者留言说虽然春招受到了歧视，很低落，但看到我这样“优秀”的榜样在前面激励着，又充满了信心； 还有读者留言说我不同于其他名校学历的大佬，文章读起来更合胃口，也更加的

一、前言 今天在项目中遇见了Feign.Builder并通过内部的拦截器对feign接口做了一些配置，比较感兴趣，所以去特地了解了一下Feign.Builder的简要原理，在此记录一下，后面会慢慢去尝试读取源码并分享： feign.Feign它是最上层的API，是使用者直接使用的对象，它能完成对接口生成动态代理对象，从而很方面的让你面向接口编程，而不用太过例会Feign内部的实现细节。 二、feign.Feign Feign的目的是简化针对rest的Http Api的开发。在实现中，F