一、数仓的概念（数据仓库） 1、对比记忆： ① 数据库的概念： 其实就是一种软件，用来存放数据 ② 数仓的概念（全方面的数据完整保存）： 是一个面向主题的、集成的、相对稳定的、反应历史变化数据的集合，用于支持管理决策 属性 数据库 数仓 面向内容 事务 主题、分析 数据存储 当前最新数据 历史数据 模型建设 三范式 星型模型 ③银行主题 ④集成： 数据仓库的中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理、汇总

系列文章目录 【SQL开发实战技巧】系列（一）:关于SQL不得不说的那些事【SQL开发实战技巧】系列（二）：简单单表查询【SQL开发实战技巧】系列（三）：SQL排序的那些事【SQL开发实战技巧】系列（四）：从执行计划讨论UNION ALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列（五）：从执行计划看IN、EXISTS 和 INNER JOIN效率，我们要分场景不要死记网上结论【SQL开发实战技巧】系列（六）：从执行计划看NOT IN、NOT EXISTS 和

1. 简单说明 嗨，大家好！今天给大家分享的是Mybatis-plus 插件的分页机制，说起分页机制，相信我们程序员都不陌生，今天，我就给大家分享一下Mybatis-plus的分页机制，供大家学习和Copy。 2. 介绍说明 如果你想看代码，可以直接跳到代码区域，这里只是一些简单的说明，如果你想学习，建议可以看看这一块的任容。 本章节将介绍 BaseMapper 中的分页查询，BaseMapper 接口提供了如下几个分页查询接口： selectPage：根据 e

创建高斯数据库 gaussDB（DWS） 在正式开始前需要提前创建一下 VPC，位置入口如下所示。 在打开的页面配置如下信息，然后创建即可。 其中首要进行的修改是 基本名称 和 子网名称 创建完毕之后的结果如下所示： 接下来就可以配置高斯数据库 DWS 了，功能入口地址为 大数据->数据仓库服务 GaussDB(DWS) 这里按照华为云提示输入即可，请注意购买一个公网 IP，否则后续实践不好操作。 虚拟私有云选择前文配置内容即可。 创建之后需要等

ETL概述 在构建商业智能系统的时候，如何正确有效地将分散在各个不同数据源中的信息整合到系统中成为了整个系统成败的关键，直接影响到系统的运行效率和最终结果。 ETL正是解决这一问题的有力工具。 ETL是指把数据从数据源装人数据仓库的过程，即数据的抽取(Extract)、转换(Transform)和装载(Load)过程。ETL过程的实质就是符合特定规则的数据流动过程，从不同异构数据源流向统一的目标数据。其间，数据的抽取、清洗、转换和装载形成串行或并行的过程，每个过程都必须符合特定的规则。根据国

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。本文主要讲述数据仓库的数据存储和实现。

【大数据技术】记一次spark连接MySQL读数据是失败的排查 背景 使用spark shell连接MySQL并读取数据时，总是失败，并报错，显示“No suitable driver”，但实际是driver已经配置好了，并且前几天一直能正常使用 scala> spark.read.jdbc(“jdbc:mysql://ubuntu:3306/test”,“cc”,ccc) java.sql.SQLException: No suitable driver at java.sql

小节一：数仓介绍 小节二：离线数仓应用应用架构 本小结介绍下离线数仓的一个应用架构 一个简单的离线数仓架构图如下 这里粗粒度的划分了异构数据源、数据传输、数据仓库、应用分析、及整体管理几层。 其中源数据主要指的数仓的数据来源，有数据库数据、文件类型数据、还有接口等http传输的数据。数据库数据大多都是业务的数据，例如mysql、oracle等；文件类型大多是日志数据、离线csv等格式化数据；http传输主要为接口服务提供的数据、应用直接上报的数据等等。 数据传输指的数据采集源端数

Spark Load是通过外部的Spark资源实现对导入数据的预处理，进而提高StarRocks大数据量的导入性能，同时也可以节省StarRocks集群的计算资源。Spark Load的操作本身不复杂，但涉及的技术栈比较多，架构相对较重，所以主要用于初次迁移、大数据量导入等场景（数据量可到TB级别）。 Spark Load的特点在于其引入了外部Spark集群，让我们可以方便的使用Spark 执行 ETL 完成对导入数据的预处理，包括全局字典构建（BITMAP类型）、分区、排序、聚合等。 St

前言 当人们一提到全量表，增量表，拉链表，流水表，快照表等这些概念时，大家第一反应想到的就是传统数据仓库的使用。 那么本文将从数据仓库介入，简单介绍一下openGauss设计中的全量表，增量表，拉链表，流水表，快照表等。 主要内容： 一、认识数据仓库和数据库 二、了解openGauss的有哪些优势和特点，以及其常见SQL语法 三、认识全量表，增量表，拉链表，流水表，快照表的概念、特点以及其在openGauss中的实验经验总结。 一、数据仓库与数据库 1、数据仓库 数据仓库，英文

全球数据分析平台、应用和服务供应商Teradata天睿公司（Teradata Corporation）宣布，用户将能够在Teradata数据仓库中加载JSON(Java Script Object Notation)数据，帮助其快速把握物联网发展带来的业务机会。

为了进行此平台API的调用，首先我们需要做下面几件事情。 1、 获取一个KEY。 2、 参考API文档里的接入方式和示例。 3、查看测试工具是否有需要的接口，响应实例的返回字段是否符合参数要求。 4、利用平台的文档中心和API测试工具，对接口进行测试、程序获取。 更多API调用展示以及获取Key和secret请移步 Result Object: --------------------------------------- {     "items": {         "pa