×

分布式

kafka produce 消息分配原则-思考指定key(kafka消息分配策略)

李 发表于2024-04-22 浏览3676 评论0
我们向kafka里发送消息的时候,kafka有多个分区,是如何将数以百万的消息发送到各个分区的,如果其中的分区节点出现了问题?这个时候又会如何? 当我们在new一个produceRecord的时候,最常见的是直接 topic+value 还有一种是topic+key+value 查源码kafkaProduce.java里 这三行代码决定了分配的分区在哪里? 前面两行都相似 byte[] serializedKey = valueSerializer.serialize(r

分布式

自建 DERP 中继服务器,从此 Tailscale 畅通无阻

明天 明天 发表于2024-04-22 浏览7903 评论0
原文链接🔗 https://fuckcloudnative.io/posts/custom-derp-servers/ 👉上篇文章介绍了如何使用 Headscale 替代 Tailscale 官方的控制服务器,并接入各个平台的客户端。本文将会介绍如何让 Tailscale 使用自定义的 DERP Servers。可能很多人都不知道 DERP 是个啥玩意儿,没关系,我先从中继服务器开始讲起。 STUN 是什么 Tailscale 的终极目标是让两台处于网络上的任何位置

分布式

Spring Cloud(八)分布式事务(*)(Spring cloud 分布式事务)

huahua22 huahua22 发表于2024-04-22 浏览5787 评论0
分布式事务 事务具有四大特性: 在微服务项目中,每个服务都有其自己的数据库,当我们需要进行服务调用处理业务时,事务还能保证ACID原则吗?我们以一个分布式服务案例来验证这个问题: 案例:微服务下单业务,在下单时会调用订单服务,创建订单并写入数据库。然后订单服务调用账户服务和库存服务 账户服务负责扣减用户余额 库存服务负责扣减商品库存 Ⅰ.创建数据库heima,里面有三张表,分别对应三种服务要使用到的数据。 订单服务: 账户服务: 库存服务: Ⅱ. 导入项目s

分布式

Seata介绍和使用

qq_e2y8ihbd qq_e2y8ihbd 发表于2024-04-22 浏览6231 评论0
Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。 对业务无侵入:即减少技术架构上的微服务化所带来的分布式事务问题对业务的侵入 高性能:减少分布式事务解决方案所带来的性能消耗 官方文档:https://seata.io/zh-cn/index.html seata的几种术语: TC(Transaction Coordinator):事务协调

分布式

【项目】分布式唯一ID解决方案(分布式唯一id的方案)

HT。 HT。 发表于2024-04-22 浏览5747 评论0
项目代码地址:https://gitee.com/realBeBetter/distributed-id 测试结果基于: redis 3.2.100 Windows、jdk 1.8.0_201、mysql 8.0.22 机器配置:16G、R7-5800H、Windows 10专业版 测试配置:2000 线程,10s 启动时长,随机时间 1s ,同时并发请求访问 5 个服务 数据库序列化ID 逐个获取 首先在数据库中进行下列的初始化步骤。 DROP TABLE I

分布式

SpringBoot单机和分布式(RocketMQ解决)WebSocket聊天室

xchenhao xchenhao 发表于2024-04-21 浏览5920 评论0
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 注意,两个用户在同一个房间才可以互相聊天 在线体验地址: http://47.103.194.1:8081/ github下载地址 https://github.com/MaBo2420935619/Websocket 前言 HTTP 协议有一个缺陷:通信只能由客户端发起。 HTTP 协议做不到服务器主动向客户端推送信息。 这种单向请求的特点,注定了如果服务器有连续的状态变化,客户端要

分布式

【自组织网络】OLSR协议概述(OLSR协议)

修无生 修无生 发表于2024-04-21 浏览3845 评论0
● 最优化链路状态(Optimized Link State Routing)协议 ● 主动式路由协议 特征 ● OLSR协议是经典链路状态算法的最优化版本,以满足移动无线局域网的要求 ● OLSR协议使用逐跳路由,即每个节点使用其本地信息为分组选择传输路由 ● OLSR协议中的主要概念是多点中继(MultiPoint Relay, MPR) ● MPR是专门选定的节点,用于在泛洪过程中转发广播消息. ● OLSR协议采用三种优化技术 ● 第一种优化是采用多点中继技术,在网络泛洪时只允许

分布式

DolphinScheduler教程(01)- 入门(dolphinscheduler操作手册)

CG小霸王 CG小霸王 发表于2024-04-21 浏览4474 评论0
声明:本文是《工作流任务调度系统:Apache DolphinScheduler》的阅读笔记,如有侵权,请联系本人删除! 1. 概述 Apache DolphinScheduler 官网地址:https://dolphinscheduler.apache.org/ Apache DolphinScheduler 是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,其致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

分布式

kafka的副本以及分区与副本的关系(kafka分区和副本关系)

水 发表于2024-04-21 浏览7826 评论0
一 副本的作用 1.Kafka 副本作用:提高数据可靠性。 2.Kafka 中副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader, 然后 Follower 找 Leader 进行同步数据。 读写由leader来完成,follower只备份,和leader同步数据,leader发生故障,follower顶上去。 leader副本:可以理解为某个分区中,除了不是副本的那个分区。 3.Kafka 分区中的所有副本统称为 AR(Assig

分布式

解决问题:import torch失败和torch.cuda.is_available()返回false

刚刚好 刚刚好 发表于2024-04-21 浏览5467 评论0
安装过程比较曲折,阅读了很多dl的博客,并不是每一种都能顺利解决我自己的问题,但好在费尽周折之后安装成功了,于是将遇到的一些问题记录在这里,表述有问题的地方还请各位指出。 零、几点说明 1,本文默认已安装Anaconda,Win10系统 2,本人安装主要遇到的问题是: conda list有pytorch但是import torch失败 import torch成功但是torch.cuda.is_available()返回false 3,主要参考的博客如下: A, 两步搞定pytor

分布式

图像评价指标(python)(图像评价指标及方法)

Hi,Sunny?宇哥 Hi,Sunny?宇哥 发表于2024-04-21 浏览6018 评论0
图像评价指标的综合记录: 一、信息熵 熵是衡量图像中所包含的信息量的大小, 熵越大说明包含的信息越多,意味着可以从处理后的图像中获取更多的信息,用信息熵来计算图像的熵值。 代码: import cv2 import numpy as np import math tmp = [] for i in range(256): tmp.append(0) val = 0 k = 0 res = 0 #'img/1-3.jpg'=6.0404 ; out2.j