×

scala

大数据常见问题：数据倾斜的原理及处理方案（大数据常见问题:数据倾斜的原理及处理方案怎么写）

一叶知秋 一叶知秋 发表于2024-05-02 浏览9001 评论0
什么是数据倾斜 Hadoop能够进行对海量数据进行批处理的核心，在于它的分布式思想，通过多台服务器（节点）组成集群，共同完成任务，进行分布式的数据处理。 理想状态下，一个任务是由集群下所有机器共同承担执行任务，每个节点承担的任务应该相近，但实际上在并行处理过程中，分配到每台节点的数据量并不是均匀的，当大量的数据分配到某一个节点时（假设10个节点，5亿数据），那么原本只需要1小时完成的工作，变成了其中9个节点不到1小时就完成了工作，而分配到了大量数据的节点，花了5个小时才完成 从最终结果来看

spring boot

【纯干货】SpringBoot 整合 ES 进行各种高级查询搜索

一叶知秋 一叶知秋 发表于2024-05-01 浏览6911 评论0
在上篇 SpringBoot 整合 ElasticSearch 文章中，我们详细的介绍了 ElasticSearch 的索引和文档的基本增删改查的操作方法！ 本文将重点介绍 ES 的各种高级查询写法和使用。 废话不多说，直接上代码！ 二、代码实践 本文采用的SpringBoot版本号是2.1.0.RELEASE，服务端 es 的版本号是6.8.2，客户端采用的是官方推荐的Elastic Java High Level Rest Client版本号是6.4.2，方便与SpringBoot的

Ruby教程

ios架构与开发第一课 工程化、依赖、配置和规范（ios开发基础）

一叶知秋 一叶知秋 发表于2024-04-29 浏览3571 评论0
开篇词 iOS 架构与开发工程化，让你成为 10x 程序员 你好，我叫林永坚，在澳洲互联网公司 REA Group 担任 Mobile Tech Lead 一职。作为技术负责人，我主要负责移动端的架构与研发，同时也负责移动团队的建设和推动公司的工程化实践。 在我所负责的 App 中， realestate.com.au App 是澳洲本土企业流量排名前几的 App，几乎每个在澳洲买房、卖房、租房的人都会使它。在 App Store 上，这款 App 的评分也一直保持在 4.7 星以上。要知

爬虫

不知道天气咋样？一起用Python爬取天气数据分析告诉你（python天气数据的爬取与分析）

一叶知秋 一叶知秋 发表于2024-04-27 浏览40533 评论0
前言 今天我们分享一个小案例，获取天气数据，进行可视化分析，带你直观了解天气情况！ 一、核心功能设计 总体来说，我们需要先对中国天气网中的天气数据进行爬取，保存为csv文件，并将这些数据进行可视化分析展示。 拆解需求，大致可以整理出我们需要分为以下几步完成： 通过爬虫获取中国天气网7.20-7.21的降雨数据，包括城市，风力方向，风级，降水量，相对湿度，空气质量。 对获取的天气数据进行预处理，分析河南的风力等级和风向，绘制风向风级雷达图。 根据获取的温度和湿度绘制温湿度相关性分析

spring

vue3+vite+elementPlus+windiCSS开发后台管理系统——项目构建

一叶知秋 一叶知秋 发表于2024-04-26 浏览3773 评论0
创建vite项目并安装vscode插件 先说说vite Vite（法语意为 “快速的”，发音 /vit/，发音同 “veet”）是一种新型前端构建工具，能够显著提升前端开发体验。它主要由两部分组成： 一个开发服务器，它基于 原生 ES 模块 提供了 丰富的内建功能，如速度快到惊人的 模块热更新（HMR）。 一套构建指令，它使用 Rollup 打包你的代码，并且它是预配置的，可输出用于生产环境的高度优化过的静态资源。 Vite 意在提供开箱即用的配置

html5

Winform控件开发（10）——CheckedListBox（史上最全）

一叶知秋 一叶知秋 发表于2024-04-25 浏览6766 评论0
一、属性 1、CheckOnClick 就是当鼠标点击一个新的项的时候，是否立马改变选中状态，如果为false时，当鼠标单击一个新的项时，这个项的选中状态不会立马改变，而是再次点击时才会改变，类似一个一个防止误触的功能； 2、ColumnWidth 指示多列时，每一列的宽度 3、HorizontalExtent 列表框有个水平滚动框，可以让列表一共显示多少像素宽度的内容 4、HorizontalScrollbar 当MultiColumn的属性为false时，当列表框的内容超出一行显示宽度时，是

rabbitmq

windows环境下安装RabbitMQ（超详细）

一叶知秋 一叶知秋 发表于2024-04-25 浏览27669 评论0
windows环境下安装RabbitMQ（超详细） 记录RabbitMQ安装过程，欢迎大家和我交流。(❤安装过程中遇到的问题也有总结哈，请查看) RabbitMq简介 安装准备工具 安装步骤（图文） 安装过程中遇到的问题 RabbitMq简介 1.1消息队列中间件简介 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ（安全），RabbitMQ，ZeroMQ，

mysql

MySQL字符串拼接(函数)（mysql字符串拼接的方法）

一叶知秋 一叶知秋 发表于2024-04-25 浏览12587 评论0
最近帮助处理数据,需要批量更新数据,遂上网查了查方法,在此记录一下。我的原始数据如下: 一.CONCAT()函数     说明 : CONCAT(string1,string2,string3...)，此处是直接把string1、string2和string3等等的字符串无缝拼接起来，返回结果为连接参数产生的字符串。如有任何一个参数为NULL ，则返回值为 NULL。     A.无缝衔接          B.如果有一个值为NULL，则返回NULL     二.CONCAT_WS(

spring boot

DM8--SpringBoot整合达梦数据库

一叶知秋 一叶知秋 发表于2024-04-25 浏览6949 评论0
 本人平常都是使用到的MySQL数据库，对于达梦数据库是最近才开始了解，毕竟国产的数据库还是得支持一波的像一些基本的安装配置之类的就看看官网的技术文档就可以搞定了。接下来将主要介绍在项目中如何连接使用达梦数据库，在这里主要讲在SpringBoot项目中对达梦数据库的整合。  首先，我的实例项目是基于现有的SpringBoot+MyBatis-Plus+MySQL项目，实现同时集成MySQL数据源的同时，也集成达梦数据库，这样对于项目可以实现多数据源操作。 1.pom.xml配置 <