×

scala

spark安装(spark安装详细教程)

SH SH 发表于2024-05-19 浏览4726 评论0
目录 spark安装 前言 资料链接 安装scala 创建scala工作目录  配置环境变量(三台机器) 查看是否安装成功  分发到节点  验证 安装spark 创建spark工作目录  编辑spark-env.sh  配置spark从节点  配置环境变量(三台机器)  分发到节点 测试运行环境(只在master节点执行)  访问spark web界面 开启spark-shell  输入pyspark测试python环境spark交互模式 spark

sql

mysql8.0.25安装配置教程(windows 64位)最详细

SH SH 发表于2024-05-19 浏览410002 评论0
1.官网下载MySQL 下载Mysql点击下载mysql.下载完成后解压到某一个文件夹(记住这个路径,一会要用到) 2.配置初始化文件my.ini 在根目录下创建一个txt文件,名字叫my,文件后缀为ini 之后复制下面这个代码放在文件下 (新解压的文件没有my.ini文件,需自行创建) 以下代码除安装目录和数据的存放目录需修改,其余不用修改 [mysqld] # 设置3306端口 port=3306 # 设置mysql的安装目录 ----------是你的文件路径---

tomcat

mysql数据库迁移到瀚高数据库,包含数据迁移、sql语法、服务启动、部署、tomcat问题整理

SH SH 发表于2024-05-19 浏览6298 评论0
1.数据库迁移 我目前使用的是5.6.5版本瀚高数据库 关于瀚高数据库的数据迁移,我目前只找到了两个方案, 1.只能用专门的迁移工具,csdn中50c币的那个,该工具可以实现其他数据库(这个其他不包含瀚高自己)迁移到瀚高数据库 2.瀚高数据库自带的迁移工具,从oracle迁移到瀚高(可能有其他的,我可能没发现?) 2022/4/24原帖更新插入新方法 经过一番搜索,发现了新的方式,即为数据库备份 数据库恢复 2.数据库设置主键自增 数据库迁移之后,需要加主键自增,因为瀚高数据

nginx

Vue项目nginx服务器部署刷新页面404错误(nginx vue刷新404)

SH SH 发表于2024-05-17 浏览4625 评论0
最近想自己做点小项目练手,前端用的是vue框架,用nginx当做服务器来部署。但是当部署完成后,遇到了刷新页面和打开新页面报404错误的问题 问题就像上面描述的一样,刷新页面和打开新页面都是报404错误。 先说最终解决办法,在nginx的配置文件的location中改一下设置方式: location / { try_files $uri $uri/ /index.html; } location改为这么设置,就好了,具体原理看

scala

day68 Spark core 安装 五大特性 有的没的

SH SH 发表于2024-05-17 浏览5889 评论0
I know, i know 地球另一端有你陪我 一、Spark 一个计算系统,对标 Hadoop 中的 MapReduce,其中也应用了该思想 不同于 Hadoop 的基于磁盘,经常需要进行数据落地,在磁盘中进行运算 每个任务都需要进行落地,下一次任务需要从磁盘中再次读取 一个字:稳 Spark 是基于内存计算的,只有较少步骤需要数据落地,能够更快速地处理数据 取消了大部分任务之间落地的动作,直接进入下一个任务 一个字:快 语言上,Spark 支持 Scala Pyth

rabbitmq

Kafka入门了解(Kafka入门)

SH SH 发表于2024-05-17 浏览5505 评论0
消息队列的优点 异步解耦 允许你独立扩展或者修改两边的处理过程,只要确保它们遵守同样的约束即可 可恢复性 系统一部分组件失效时,不会影响整个系统。消息队列降低了进程之间的耦合性,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理 缓冲 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况 削峰操作 由于不是与服务器直连,而是将数据写入在队列之中,因此当大量数据来临的时候,可以在一定程度上缓解服

spring

基于SSM框架的项目:图书管理系统

SH SH 发表于2024-05-17 浏览8086 评论0
1 总体要求 总体任务:整合 SpringMVC + Spring + MyBatis 框架,实现书城项目的增删改查以及检索功能。 网站架构依然采用前端 JSP + 控制层 Controller + 业务层 Service + 持久层 Dao + 数据库的形式。 其中: 数据库由 MySQL 管理; MyBatis 作为 持久层用来操作数据库; SpringMVC 作为控制层与前端就行数据交互; Spring 作为大杂烩托管持久层、业务层和控制层; 前端页面使用了 Boots

django

p6-三天的作业

SH SH 发表于2024-05-17 浏览5947 评论0
三天的作业,必须(录屏+水印)完成,逐一检查!! 1th day 搭建一个Django后端项目,并配置跨域、drf、mysql数据库; 创建User模型类,继承AbstractUser,迁移并存入一个用户,如tom123; 搭建一个前端Vue项目,创建一个Login.vue组件,如图:登录组件可以重用之前的,其他必须自己完成! 2nd day 参考容联云的 官方文档,自己封装请求,发送到容联云,实现短信验证码的发送。禁止使用ronglian_sms_sdk 可参考博客 3r

mysql

Flink从Kafka读取数据流写入到MySQL(flink 读取kafka)

SH SH 发表于2024-05-16 浏览5134 评论0
综合案例 今天来实现一个综合案例:Flink从独立部署的Kafka读取数据流,处理后,通过自定义的Sink函数写入到MySQL中 视频 配置 参考 FLINK -1 WordCount FLINK -2 读取Kafka FLINK -3 写入MySQL Kafka 部署一个Kafka服务,源源不断的向主题kafka发送数据 参考 SpringBoot整合Kafka 效果 创建数据表 SET NAMES utf8mb4; SET FOREIGN_KEY

rust

【Nodejs】Nodejs中Buffer的使用(nodejs buffer)

SH SH 发表于2024-05-16 浏览4506 评论0
前言 JavaScript 对于字符串(string)的操作十分友好,无论是宽字节字符串还是单字节字符串,都被认为是一个字符串。 console.log("你好,世界!".length); // 6 console.log("hello,world!".length); // 12 console.log("\u00cc".length); // 1 作为对比,Rust 中的字符串则相对难以理解: let str = String::from("你好,世界!"); println!