×

分布式

kafka-12-Kafka消息时间戳kafka message timestamp

吴昊 吴昊 发表于2024-04-30 浏览8495 评论0
参考Kafka消息时间戳(kafka message timestamp) 1 Kafka消息的时间戳 在消息中增加了一个时间戳字段和时间戳类型。 目前支持的时间戳类型有两种:CreateTime和LogAppendTime。 前者表示producer创建这条消息的时间; 后者表示broker接收到这条消息的时间(严格来说,是leader broker将这条消息写入到log的时间)。 2 客户端消息格式的变化 ProducerRecord:增加了timestamp字段,允许produ

分布式

elasticsearch(es) 如何查看当前集群中哪个节点是主节点(master)

南阳 南阳 发表于2024-04-30 浏览4262 评论0
elasticsearch 查看当前集群中的 master 节点是哪个需要使用 _cat 监控命令,具体如下。 查看方法 es 主节点确定命令,以 kibana 上查看示例如下: GET _cat/nodesv 返回结果示例如下: ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 172.16.16.188 52 99 5 2.59 1.70 1.45 mdi - elasti

分布式

分布式唯一ID几种生成方案(分布式唯一id几种生成方案怎么写)

零度网络-技术2 零度网络-技术2 发表于2024-04-29 浏览5124 评论0
一、分布式唯一ID的需求产生的背景 在分布式集群环境环境中,大量的业务场景需要使用到唯一ID的情况,如用户需要唯一身份标识、商品需要唯一标识、消息需要唯一标识、事件需要唯一标识等,都需要全局唯一ID,尤其是复杂的分布式业务场景中全局唯一ID更为重要那么,分布式唯一ID有哪些特性或要求呢? ① 唯一性:生成的ID全局唯一,在特定范围内冲突概率极小。 ② 有序性:生成的ID按某种规则有序,便于数据库插入及排序。 ③ 可用性:可保证高并发下的可用性, 确保任何时候都能正确的生成ID。 ④ 自主性

分布式

RocketMQ自动创建topic原理-TBW102(rocketmq topic自动创建)

Calm Calm 发表于2024-04-29 浏览6096 评论0
自动创建Topic原理介绍   RocketMQ在发送消息的时候,我们一般会先去Broker创建Topic信息,Producer在发送消息的时候会先去nameSrv拉取Topic信息,那么如果拉取不到Topic,会如何处理呢?这里RocketMQ提供一种自动创建Topic的机制。 Producer流程 先从本地缓存topicPublishInfoTable中获取Topic。 如果本地缓存不存在或者失效,则调用**mQClientFactory.updateTopicRouteIn

分布式

XXL-JOB入门教学(Xxl job)

造梦先生 造梦先生 发表于2024-04-29 浏览6231 评论0
目录 目标 官方文档及项目下载地址 实战 搭建调度中心 创建任务调度(这里演示SpringBoot版本) 目标 掌握XXL-JOB项目基本搭建和使用。 官方文档及项目下载地址 分布式任务调度平台XXL-JOBhttps://www.xuxueli.com/xxl-job/ 实战 搭建调度中心 第一步:下载XXL-JOB项目(略)。   第二步:执行相关的SQL脚本,此时会创建一个名字为xxl_job的数据库。 第三步:在xxl-job-adm

分布式

AI取代人类,可以自动生成prompt了

两碗 两碗 发表于2024-04-28 浏览5945 评论0
文 | 智商掉了一地 如何才能让大型语言模型按照我们的要求去做?这篇文章给出了回答—— 近期在 NLP 领域风很大的话题莫过于 Prompt,尤其当大型语言模型(LLM)与其结合,更是拉近了我们与应用领域之间的距离,当 LLM 在包括小样本学习在内的各种任务中表现出非凡的效果和通用性时,也存在着一个问题亟待解决:如何让 LLM 按照我们的要求去做?这也是本篇论文的一个重要出发点。 本文作者将 LLM 视为执行

分布式

【分布式缓存】分布式缓存-缓存技术(分布式缓存)

愿林 愿林 发表于2024-04-28 浏览8165 评论0
目录 从数据的使用说起 本地缓存 远程缓存 缓存策略 缓存常见问题 总结回顾与作业实践 1. 从数据的使用说起 我们把数据的使用频率和方式分个类 静态数据:一般不变,类似于字典表 准静态数据:变化频率很低,部门结构设置,全国行政区划数据等 中间状态数据:一些计算的可复用中间数据,变量副本,配置中心的本地副本 热数据:使用频率高 读写比较大:读的频率 >> 写的频率 这些数据适合于使用缓存的方式访问 广义上来说,为了加速数据处理,让业务更快访问的临时

分布式

分布式事务实现的3种方案(分布式事务实现的3种方案是)

杨勇 杨勇 发表于2024-04-27 浏览5792 评论0
分布式事务实现的三种方案 面试前言: 面试中常常被问到你知道怎么实现分布事务吗? 或者你知道实现分布事务的方式有哪几种方案? 分布式事务实现的几种方案如下: ​ 1.基于mq实现分布事务 ​ 2.基于XA协议实现分布式事务 ​ 3.基于TCC协议机制实现分布式事务 1.基于mq实现分布事务 数据库设计: 原文连接:https://blog.csdn.net/luoyang_java/article/details/84953241 数据库设计: 设计支付宝和余额宝两个

分布式

java数据结构(java数据结构有哪些)

乄 发表于2024-04-27 浏览6824 评论0
一、java集合   研究表明,人类大脑右脑的记忆能力是左脑的10万的倍,右脑对图形图像处理比较敏感,因而借助于图形图像能快速提高记忆效率,废话不多说,直接上图:                       Collection集合体系继承关系                    Map集合体系继承关系 1、线性表的性能分析 各种线性表的性能分析概览: 1.1、数组   以一块连续内存区来保存所有的数组元素,所以数组在随机访问时性能最好。所有的内部以数组作为底层实

分布式

【运行报错】 Seata解决分布式事务超时异常:@GlobalTransactional不生效

test123 test123 发表于2024-04-26 浏览7379 评论0
1. 报错信息: 在使用Seata解决分布式事务超时异常时,添加了@GlobalTransactional后,怎么也不生效 2. 原因分析: 以为 MyBatisConfig、DataSourceProxyConfig这些都是无用的,直接让自动配置类配置不就好了,结果是大意了,这里的DataSourceProxy是Seata数据源代理类… 注意这里的数据源配置是必须的! 需要使用Seata 代理数据源 import io.seata.rm.datasource.DataSour

分布式

git中如何获取远程仓库的最新代码?(git中如何获取远程仓库的最新代码)

☔︎ ☔︎ 发表于2024-04-26 浏览8357 评论0
1.git pull:获取最新代码到本地,并⾃动合并到当前分支 代码展⽰ # 查看当前远程分⽀ $ git remote -v # 直接拉取远程分支最新代码并合并最新代码到本地当前分支 $ git pull origin master `**⽰例:拉取远端origin/master分⽀合并到本地当前分⽀**` PS:示例:拉取远端仓库的master分支的最新代码合并到本地的master分支 分析:不推荐这种⽅式,因为是直接合并的,⽆法提前处理冲

分布式

kafka动态创建消费者(kafka创建消费者组)

黑牛哥 黑牛哥 发表于2024-04-26 浏览5929 评论0
使用注解的方式不能动态创建消费者,而且需要改变原代码,并重启项目,这往往只会增加后期维护成本。如题目所示,动态创建消费者,在现实的应用场景中显得越来越重要。 一、创建业务表(可以根据实际业务场景进行字段添加) CREATE TABLE `dfs_config_kafka` ( `id` int(11) NOT NULL, `kafka_ip` varchar(255) DEFAULT NULL, `kafka_port` varchar(255) DEFAUL