×

scala

Spark :: 大画Spark(1)——Spark的Dispatcher原理

25013415 25013415 发表于2024-04-27 浏览2944 评论0
背景 在Spark的网络环境中,Netty是进行RPC通讯的底层通讯模块,在Netty之上,Spark构建起了一整套的通信发送与接收处理机制,这个机制涉及到了Spark的Dispatcher,MessageLoop,Endpoint,Inbox等一系列的概念和关系,理解诸如这些概念和关系是很多Spark初学者的挡路石,为了能让初学者以及一直使用Spark的同学深入了解这些概念和内容,我准备写一个专题,叫做《大画Spark》,通过一系列相视的生活中的例子,大家都能听懂的常识,以及生动的插画(这

scala

flink sql之自定义UDF(flink sql自定义函数)

25013415 25013415 发表于2024-04-26 浏览4650 评论0
三种udf:(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 一、Scalar Functions 标量函数 标量函数,是指返回一个值的函数。标量函数是实现将0,1,或者多个标量值转化为一个新值。标量函数的行为就是通过evaluation方法来实现的。evaluation方法必须定义为public,命名为eval。evaluation方法的输入参数类型和返回值类型决定着标量函数的输入参数类型和返回值类型。eva

中间件

在Koa中常见的中间件的原理及使用(koa中间件实现原理)

25013415 25013415 发表于2024-04-23 浏览6244 评论0
我们都知道,在一个完整的Http请求过程中,我们需要在其中做一些处理,比如说请求路径和参数的处理,cookie的处理,返回的结果处理……对于Koa来说,我们可以使用中间件来进行处理,但是Koa本身是不提供中间件的,因此就需要我们引入第三方的,或者是根据自己实际的业务需求,来实现一些处理过程的中间件。就简单的介绍几个在Koa中会经使用的一些中间件(这里的版本是基于Koa 2.x,如果想了解Koa 1.x可以参考这些思想去找适用于Koa 1.x的中间件)。当然这里有关第三方中间件的介绍过程中,都会简

Ruby教程

靶场之DC-2 (靶场之歌歌词)

25013415 25013415 发表于2024-04-23 浏览4265 评论0
环境: 靶机名称:DC-2 攻击机:kali 192.168.78.135 1. 打开虚拟机 导入.ova文件,开启虚拟机 2. 信息收集 2.1 nmap扫描存活主机确定DC-2的ip地址 nmap -sP 192.168.78.0/24 IP 为192.168.78.128 2.2 利用namp扫描DC-2开放的端口 nmap -sV -A -p- 192.168.78.128 -sV探测服务器版本 发现开启了http和ssh服务,并且ss

node.js

当运行npm install 命令的时候带上ignore-scripts,会发生什么?

25013415 25013415 发表于2024-04-22 浏览4952 评论0
摘要:运行npm install 命令的时候带上ignore-scripts, 可以避免一个恶意包里的病毒。 本文分享自华为云社区《运行npm install 命令的时候带上--ignore-scripts有什么好处吗?》,作者:gentle_zhou。 在npm依赖库里,当前有超过130多万的依赖包可以被下载使用(数据来源:https://en.wikipedia.org/wiki/Npm_(software) )。但其中会不会有一些是恶意依赖包呢,这真的说不定。 因此在Predi

ajax

微信小程序实现网络请求API获取数据(微信小程序实现网络请求api获取数据失败)

25013415 25013415 发表于2024-04-22 浏览8087 评论0
1.问题描述 本次博客的内容是对之前天气api使用的一个补充,会具体介绍如何发送网络请求(request)的使用方法。 2.算法描述 首先要了解什么是网络请求,这里附上微信开放文档(主要的request函数和返回参数): https://developers.weixin.qq.com/miniprogram/dev/framework/ability/network.html 然后就是如何使用网络请求,因为基本上是要测试的,所以要先设置小程序不校验业务域名

正则表达式

还没搞懂正则?熬夜到虚脱整理出来的Python的正则表达式总结(Regular Expression)

25013415 25013415 发表于2024-04-21 浏览15547 评论0
前言: 作者:神的孩子在歌唱 这是我听老师讲课做的笔记 大家好,我叫陈运智,大家可以叫我智 一. python正则表达式介绍 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用

django

Python所有的库都在这里了!!强烈建议收藏(常见的python库)

25013415 25013415 发表于2024-04-21 浏览5570 评论0
前言 嗨喽,大家好呀~这里是爱看美女的茜茜呐 又到了学Python时刻~ 随着大数据和人工智能的发展,Python也与多种科技深深绑定。 比如自动化测试,运维,爬虫,数据分析,机器学习,金融领域,后端开发,云计算,游戏开发都有涉及。 万丈高楼平地起,Python这座大厦能够如此强大,就是拥有强大的成千上万的库的支持 无数牛x的轮子在支持这座大厦,今天我们来一起梳理一下,俯瞰整个Python宝库。 那么什么是库呢? 从代码角度讲:库就是一堆类(class)和函数(func

tomcat

Tomcat部署、优化及数据流向(tomcat并发优化)

25013415 25013415 发表于2024-04-21 浏览7287 评论0
目录 1、Tomcat简介 2、Tomcat数据流向 3、Tomcat服务安装 4、Tomcat优化 5、Nginx+Tomcat负载均衡、动静分离 1、Tomcat简介 ■Tomcat是一款免费、开放源代码的web应用服务器,是Apache软件基金会的一个核心开源项目,属于轻量级应用服务器,PS: Apache: Apache软件基金会(也就是Apache Software Foundation,简称为ASF),是专门为支持开源软件项目而办的一个非盈利性组织 ■Tomca

rust

Rust语言——猜数游戏

25013415 25013415 发表于2024-04-21 浏览6039 评论0
目标 生成一个1~100间的随机数 提示玩家输入一个猜测 输入后程序提示猜测是大了还是小了 如果正确了,打印出一个庆祝信息,程序退出 首先我们做一个单次猜测 use std::io; use rand::Rng; use std::cmp::Ordering;//枚举类型 分别是小于大于和等于 fn main() { println!("猜数!! "); let secret_number = rand::thread_rng().gen_range(1, 101)

后端

使用Druid SQL Parser解析SQL(druid sql解析器)

25013415 25013415 发表于2024-04-21 浏览7438 评论0
使用Druid SQL Parser解析SQL 在以前的博文《使用Spring Boot JPA Specification实现使用JSON数据来查询实体数据》中讲到了目前业务上的需求就是以前老系统是通过配置SQL去抽取一些业务数据的,但现在新系统想通过页面的一些配置化实现跟配置SQL一样去抽取数据。所以在之前的博文讲到了如何利用JPA Specification和构造的JSON数据去抽取数据。但是老系统很多历史数据都是用SQL去配置的,这些配置当然需要迁移到新系统,但是我们不可能手

rabbitmq

Windows Docker Desktop启动rabbitmq服务

25013415 25013415 发表于2024-04-21 浏览6881 评论0
背景:要快速开发一个小demo,里面用到rabbitmq,然后又没有给到服务器,现在自己本地调通一下 1.安装Docker Desktop(windows) 访问Docker Desktop for Mac and Windows | Docker直接下载 双击无脑安装即可,我的机子比较老,好像不支持wsl2  2.拉去rabbitmq镜像 a.首先搜索一下rabbitmq的镜像 docker search rabbitmq 我们直接找一个官方镜像来搞,然后查询镜像里是