目录 一、MinIO介绍 1、MinIO是什么？ 2、MinIO的优势 二、MinIO安装 1、server端安装 2、客户端安装 三、MinIO界面上传文件及使用 四、Go上传文件到MinIO 一、MinIO介绍 官网：MinIO Quickstart Guide| Minio中文文档 1、MinIO是什么？         MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存

1 Hadoop 3.2.4分布式环境搭建 1 系统配置 3台centOS虚拟机 # 配置hosts解析 vim /etc/hosts 192.168.88.129 hadoop1 192.168.88.130 hadoop2 192.168.88.131 hadoop3 修改主机名 hostnamectl set-hostname hadoop1 hostnamectl set-hostname hadoop2 hostnamectl set-hostname had

前言 Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。 Kafka的ACK机制是针对producer的。 保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这样就会有大量的数据发送到Kafka的集群中，保证了Kafka集群的吞吐量。 保证消息的可靠性就是发送消息必须保证消息存储到了集群中，producer才能发送下一个消息。

0x00 概述 随着互联网技术的不断发展，用户量的不断增加，越来越多的业务场景需要用到分布式系统。 分布式系统有一个著名的理论CAP，指在一个分布式系统中，最多只能同时满足下面三项中的两项： 一致性（Consistency）：在分布式系统中的所有数据备份，在同一时刻是否同样的值（等同于所有节点访问同一份最新的数据副本） 可用性（Availability）：保证每个请求不管成功或者失败都有响应 分区容错性（Partition tolerance）：系统中任意信息的丢失或失败不会影

前言         当规划虚拟机业务网络需要用链路聚合时，可以通过创建 vSphere Distributed Switch （分布式交换机）来使用LACP。将ESXi主机上的两个网卡，分别连接到两台堆叠的物理交换机上，在物理交换机上将这两个端口配置为动态链路聚合，在 vCenter上为主机创建分布式交换机，并创建链路聚合组 (LAG)，以聚合连接到 LACP 端口通道的物理网卡带宽。 一、拓扑图 参照官方拓扑图： 二、物理交换机配置动态链路聚合 1、物理交换机配置基本条件

zookeeper官网： Apache ZooKeeper 一、控制台 brew 查看可用版本 可以看到homebrew提供提供zookeeper的稳定版本是3.6.2。 二、安装zookeeper 执行命令brew install zookeeper，如下： 报错了，这是因为苹果M1芯片ARM架构导致的！！ 通过homebrew安装比较麻烦，下面我们通过下载zk的压缩包进行安装。 先到官网找最新的包，链接如下： 点我下载 zookeeperhttp

概述 Kafka目前支持GZIP、Snappy、LZ4、zstd、不压缩这几种压缩算法。在开启压缩时，Kafka会选择一个batch的消息一起压缩，这样的一批消息就是一个压缩分段，我们也可以通过参数来控制每批消息的大小。 在Kafka中，生产者生成一个压缩分段发给broker，在broker中是不会解压这个压缩分段的（因为在Kafka中一个batch的消息在broker中是不会拆分的，自然也不会进行解压），最后压缩分段由消费者进行解压。 Kafka通过这种设计，降低了broker中CPU

SOA、ESB、微服务概念 1 SOA 面向服务 SOA全称：Service Oriented Architecture，面向服务框架。它是一种设计理念，其中包含多个服务，服务之间通过相互依赖最终提供一系列完成的功能。各个服务通常以独立的形式部署运行，服务之间通过网络进行调用。架构图如下： 2 ESB 企业服务总线 ESB：Enterprise Service Bus，企业服务总线。简单来说，ESB就是一根管道，用来连接各个服务节点。【总线型结构】，ESB的存在就是为了集成基于不同

nacos介绍及使用 学习中笔记 一、Nacos介绍 Nacos是SpringCloudAlibaba架构中最重要的组件。 Nacos 是一个更易于帮助构建云原生应用的动态服务发现、配置和服务管理平台，提供注册中心、配置中心和动态 DNS 服务三大功能。能够无缝对接Springcloud、Spring、Dubbo等流行框架。 nacos和eureka功能对比 功能模块 nacos eureka 功能说明 注册中心 √ √ 服务治理，服务中心化注册 配置中心 √ ×

一、mysql：关系型数据库管理系统 使用场景：存放持久化数据，读取速度慢 二、Redis：NoSQL数据库之一，是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 1）基于内存运行，性能高，支持数据持久化，可将内存的数据保存在磁盘中，重启后可以再次加载来使用； 2）支持主从备份，高可用和分布式； 3）key-value存储，value可以是字符串string、哈希hash、列表list、集合

首先介绍一下分布式的基础概念： group：指进程组，默认为一组 backwend：指进程使用的通讯后端，Pytorch支持mpi、gloo、nccl、若是使用N卡推荐使用nccl world_size：指进程组中的进程数量 若使用单台机器多GPU，world_size表示使用的GPU数量 若使用多台机器多GPU，world_size表示使用的机器数量 rank：指当前进程的序号，用于进程间的通讯，rank=0表示为master。 若使用单台机器多GPU，rank表示当前正在使用的某个GPU

pytorch提供了一个数据读取的方法，使用了 torch.utils.data.Dataset 和 torch.utils.data.DataLoader。 要自定义自己数据的方法，就要继承 torch.utils.data.Dataset，实现了数据读取以及数据处理方式，并得到相应的数据处理结果。然后将 Dataset封装到 DataLoader中，可以实现了单/多进程迭代输出数据。 1 torch.utils.data.Dataset 要自定义自己的 Datas