×

scala

spark 算子(spark算子类型)

哇咔咔 哇咔咔 发表于2024-04-23 浏览4224 评论0
课堂回顾: maven构建spark开发环境与测试 引入winutils 配置spark-core依赖 Scala实现spark Wordcount 代码编写 Spark wordcount 打包部署 上传运行 Spark常用算子 什么是算子 算子的重要作用 算子分类 转换算子 Value型转换算子:其处理的数据项是value型 Key-value型转换算子:其处理的数据是key-value型 行动算子 foreach算子:

爬虫

淘宝抓包,直达函数内部request请求体和response响应体, 告别FD, Charles,SSL,justtrustme 等http代理,证书工具。

哇咔咔 哇咔咔 发表于2024-04-23 浏览5141 评论0
很多了tb抓包很头疼,用了各种抓包工具, fiddler,Charles ,sslkiller , httpcarny ..统统没戏! 淘宝对http代理检测太严重了, SSL证书也逃不过淘宝工程师们的法眼。。 今天通过反编译apk ,找到发包函数,直接hook 函数request 请求体和response响应体,直接获取相应数据,而且x-sgin ,x-mini-wua ,x-sget ... 等参数都在里面, 你要的都有! 直接看效果:     jadx-gui 对tb.apk

MYSQL教程

一文说透 MySQL JSON 数据类型(收藏)(mysql的json数据类型)

哇咔咔 哇咔咔 发表于2024-04-23 浏览6630 评论0
JSON 数据类型是 MySQL 5.7.8 开始支持的。在此之前,只能通过字符类型(CHAR,VARCHAR 或 TEXT )来保存 JSON 文档。 相对字符类型,原生的 JSON 类型具有以下优势: 在插入时能自动校验文档是否满足 JSON 格式的要求。 优化了存储格式。无需读取整个文档就能快速访问某个元素的值。 在 JSON 类型引入之前,如果我们想要获取 JSON 文档中的某个元素,必须首先读取整个 JSON 文档,然后在客户端将其转换为 JSON 对象,最后再通过对象获取指定

正则表达式

初学JavaScript:正则表达式(RegExp)的基本使用

哇咔咔 哇咔咔 发表于2024-04-23 浏览3828 评论0
简介 正则表达式(Regular Expression,在代码中常简写为regex、regexp或RE)使用单个字符串来描述、匹配一系列符合某个句法规则的字符串搜索模式。 也就是说,正则表达式是 (1)由一个字符序列形成的搜索模式 (2)可以通过搜索模式来描述你要查询的内容 (3)可以是一个简单的字符,或一个更复杂的模式 (4)可用于所有文本搜索和文本替换的操作 1、正则表达式的创建 1.1 字面量创建 在一对反斜线中写正则表达式内容,如/abc/ 正则表达式里面不需要

golang

使用go语言生成PDF(go语言实现)

哇咔咔 哇咔咔 发表于2024-04-23 浏览9081 评论0
go语言生成PDF 最近由于工作需要,将之前用phantomjs生成PDF报告的部分重构(phantomjs在数据量较大时候,占用太高的服务器资源),改用go代码直接生成,在GitHub上搜索相关第三方库, 关键词:pdf language:Go,按照star排序如图: 在各大网站上查找相关资料后,大致了解如下: jung-kurt/gofpdf 的star数量较多,但是更新频率较低,在我用的时候,最新的tag是v2.17.2,已经有将近两年没更新了,有很多open的issue没

rust

IO模型3-NIO(非阻塞IO)(nio的非阻塞特性怎么实现)

哇咔咔 哇咔咔 发表于2024-04-23 浏览3847 评论0
1.NIO三大核心 1.1 Selecor选择器 事件驱动, 通过事件驱动那个通道有数据可读或者可写 一个selector对应一个线程, 可拥有多个Channel 1.2 Channel 通道 看做一个连接, 区别BIO基于流(读和写单向), NIO基于通道(读写双向) 一个Channel对应一个连接, 拥有一个Buffer 1.3 Buffer 缓存区 是一个可读写的内存块, 说明NIO是读写是双向的 一个Buffer对应一个数据流(可读

restful

Method search not annotated with HTTP method type (ex. GET, POST)

哇咔咔 哇咔咔 发表于2024-04-22 浏览11218 评论0
遇到这个问题,想必是使用 Fegin 的时候遇到的,不废话,我们直接上解决方案:   1.检测 接口上 是否有使用 HTTP接口注解,  如果没有就加上 : 示例: @PostMapping(value = "/test/hello") Integer hello(); 2.在项目里使用Feign的时候,是否采取了FeignConfig 配置方式,那么就需要注意是否FeignConfig里包含 代码: @Bean public Contract fe

html5教程

Canvas初探入门—实现鼠标画板(完整代码在文末)(canvas鼠标画线)

哇咔咔 哇咔咔 发表于2024-04-21 浏览4440 评论0
前言 上一节带大家了解了Canvas的基础用法,能够利用它画一些基本的图形。这一节带大家实现一个鼠标画板,效果如下图: 按住鼠标左键能够随意的在页面上绘制 实现过程 之前大家知道了通过坐标来绘制图形,那么这里通过鼠标随意的绘制就需要通过一些方法来实现 通过onmousemove获取点 我们这里通过canvas的onmousemove时间获取到鼠标移入点的x和y,就能拿到他们之间的距离,然后执行线条绘图。(flag的作用别着急往下看) canvas.onmousemove = f

django

Python常用库及使用介绍

哇咔咔 哇咔咔 发表于2024-04-21 浏览8134 评论0
python 库是参考其它编程语言的说法,就是指 python 中的完成一定功能的代码集合,供用户使用的代码组合。 在 python 中是包和模块的形式。 一般按照 API 的惯例来设计库。 (1)python模块:包含并且有组织的代码片段为模块。表现形式为:写的代码保存为文件。这个文件就是一个模块。a.py 其中文件名a为模块名字。 (2)python包是一个有层次的文件目录结构,它定义了由n个模块或n个子包组成的python应用程序执行环境。通俗一点:包是一个包含__init__.py 文件

MYSQL教程

解决phpstudy无法启动MySQL服务

哇咔咔 哇咔咔 发表于2024-04-20 浏览18692 评论0
最近在学习仿站内容,需要用到phpstudy,在下载phpstudy后想要启动MySQL服务,但是总是无法启动。 主要原因是之前已经在本地安装好了一个MySQL服务,而phpstudy里的MySQL服务与本地的MySQL占用的都是3306端口,产生了冲突。 但是修改任何一个服务的端口号都十分麻烦,又不想卸载好不容易在本地安装的MySQL服务,那么就可以采用以下办法解决服务冲突: 首先按下win+R 执行 services.msc 进入服务,查找到MySQL,点击停止服务,然后在控制台cmd进

react.js

React框架概述(react框架介绍)

哇咔咔 哇咔咔 发表于2024-04-20 浏览19011 评论0
1 React简介 1.1 React概述 是JavaScript的库,可以简化可视化界面的开发 是基于JSX语法(JavaScript Xml),JSX是React的核心组成部分,它使用xml标记的方式去直接声明界面,和html、js混写 核心是组件,将数据和逻辑进行封装。提高了代码复用率,降低了代码维护的难度。 1.2 React开发环境搭建 1、基本应用(传统应用):在页面文件中导入React的核心库(.js文件),可以引入官网上的地址,也可以自己下载之后本地引入。

scala

大数据之scala(三)运算符&&流程控制(scala 运算符)

哇咔咔 哇咔咔 发表于2024-04-20 浏览5003 评论0
系列文章目录 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 运算符 3.1 算术运算符 ±/*% 3.2关系运算符(比较运算符) Java 和Scala 中关于==的区别 Java: ==比较两个变量本身的值,即两个对象在内存中的首地址; equals 比较字符串中所包含的内容是否相同。 Scala:==更加类似于 Java 中的 equals,参照 jd 工具 var s1 = "abc" var s2 = new St