elementui
开发板评测
显著性检验
arm开发
弹性布局
system
教育电商
st-link
PWM
程序员
BUCK
rnn
美食分享系统
性能测试
webrtc
ida
网站漏洞修复
ECDSA
java-zookeeper
自定义类型
OLAP
2024/4/11 22:00:15
【数据开发】大型离线数仓OLAP数据开发指南（目录）
文章目录 1、什么离线数仓OLAP2、OLAP数仓建设3、OLAP数仓开发指南 1、什么离线数仓OLAP
离线数仓OLAP（Online Analytical Processing）是一种数据分析技术，它通过对离线数据仓库中的数据进行分析，为企业提供决策支持的数据分析服…
ClickHouse（十九）：Clickhouse SQL DDL操作-1
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
【Apache Doris】周FAQ集锦：第 1 期
【Apache Doris】周FAQ集锦：第 1 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目！ 在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和…
java操作Elastic Search实现数据的处理
一、依赖导入
在操作Elastic Search首先需要导入依赖
<dependencies><dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>7.8.0</version></dependency><!-- elast…
【Apache Doris】周FAQ集锦：第 2 期
【Apache Doris】周FAQ集锦：第 2 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目！ 在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和…
doris docker环境编译部署
1.准备doris docker环境
xiuchenggongxiuchengdeMacBook-Pro bin % docker pull apache/doris:build-env-ldb-toolchain-latestbuild-env-ldb-toolchain-latest: Pulling from apache/doris
eeedae70be19: Pull complete
a3ed95caeb02: Pull complete
Digest: sha256:63d9a9…
为什么要在业务系统中引入大宽表？
在高度系统化驱动的业务中，查看业务报表已经是一个很常见的需求了。在分工非常明确的大型企业里，往往有专门的数据分析团队 BI 或者数据开发团队，他们能够胜任此类需求（但也未必是轻松的，或者说高效的）。
…
OLAP系统林林总总
大数据需求通常可分为三大类：离线数据统计，实时数据计算，即席查询。
离线数据统计，通常是T1出数，是最典型的数据仓库解决的问题。计算复杂性最高，所以是时间就不能要求太高，否则对资源的要求将…
Doris集群的安装部署
目录
安装与部署
软硬件配置
1、机器选择
2、软件选择
3、环境信息修改和部署架构
4、安装部署Doris
5、启动FE
6、在FE节点启动MySQL客户端
7、在BE节点启动be
8、查看BE状态
8、查看FE状态是否正常
WEBUI
官方建议 安装与部署
该文档主要介绍了部署 Doris 所…
Apache druid 中提交 hadoop任务 合并segement
简述
在上篇文章中[Apache Druid 0.18.1 compact （合并，压缩） segements] 说明了使用 compact 任务进行合并，压缩segement。 基本上的合并任务compact都可以满足。
但如果遇到比较复杂的需要时，例如需要根据维度&…
Doris的基本概述
目录 Doris是什么
使用场景
技术概述 Doris是什么
由百度大数据部研发，之前加做百度palo，20118年共享到Apache社区后，更名Doris一个现代化的MPP分析型数据库产品 支持压秒级别响应架构非常简洁，易于运维支持10PB以上的超大数据…
跟 AI 学 StarRocks：简介
因为要支持公司的 BI 建设，团队引入了 StarRocks 数据库，此前我没有了解过此项技术，不过因为有架构师引入了此项技术栈，就顺便学习一下。
一、什么是 MPP 数据库？
MPP 数据库指的是大规模并行处理（Massiv…
ClickHouse进阶（三）：ClickHouse 索引
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
ClickHouse进阶（七）：Clickhouse数据查询-1
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术,IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 📌订阅…
PostgreSQL | 概念 | 什么是OLTPOLAP？
什么是OLTP&OLAP？
大白话理解：业务系统都可以称作OLTP，基于业务系统产生的数据进行数据分析和决策的都可以称为OLAP。
OLTP
OLTP（ Online Transaction Processing）在线事务处理系统 用途： 用于支持日…
联机分析处理（OLAP）到底是什么？
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP、联机分析处理OLAP。OLT…
Trino：分区表上的SQL提交 查询流程浅析
SQL提交&注册 通过/v1/statement/queued API向coordinator提交新的Query，会首先将此query放入QueryManager的缓存池中，然后返回给客户端下一次应该访问的地址。 客户端提交SQL成功后，会立即调用queued/{queryId}/{slug}/{token} REST API…
SQL中的CASE WHEN语句：从基础到高级应用指南
SQL中的CASE WHEN语句：从基础到高级应用指南
准备工作 - 表1: products 示例数据：
我们使用一个名为"Products"的表，包含以下列：ProductID、ProductName、CategoryID、UnitPrice、StockQuantity。
-- 建表
CREATE TA…
【Apache Pinot】Controller、Broker 和 Server 的概念和工作流程
背景
笔者最近一段时间使用 Apache Pinot 比较多，发现目前国内使用 Pinot 的很少，所以跟他相关的资料也比较少，本人在扩容，升级，部署，查询等方面操作有些许经验，知道其中有很多细节需要注意和规…
H13-922题库 HCIP-GaussDB-OLAP V1.5
**H13-922 V1.5 GaussDB(DWS) OLAP题库
华为认证GaussDB OLAP数据库高级工程师HCIP-GaussDB-OLAP V1.0自2019年10月18日起，正式在中国区发布。当前版本V1.5
考试前提： 掌握基本的数据库基础知识、掌握数据仓库运维的基础知识、掌握基本Linux运维知识、…
ClickHouse（十八）：Clickhouse Integration系列表引擎
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
ClickHouse（二十三）：Java Spark读写ClickHouse API
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
九、OLAP之多维分析
联机分析处理(On Line Analytical Proccessing，简称OLAP)是目前数据仓库上的重要应用之一，是决策分析的关键，也是数据仓库最重要的多维分析工具，它利用存储在数据仓库中的数据完成各种分析操作，并以直观易懂的形式将分析结果返回给决策人员。它的目标是满足决策支持或多维…
Apache Doris (三十七）：Doris数据导出 - Export导出
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊。 🔔 博主个人B栈地址：https://space.bilibili.com/4…
数据的属性与数据集，相似度，数据的质量，OLAP
数据的属性与数据集：
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开 测开的话，你就得学数据库，sql，oracle，尤其sq…
![[Doris] Doris的安装和部署 (二)](https://img-blog.csdnimg.cn/direct/ca706b5818654115af0ee6daac0a7097.png)
[Doris] Doris的安装和部署 (二)
文章目录 1.安装要求1.1 Linux操作系统要求1.2 软件需求1.3 注意事项1.4 内部端口 2.集群部署2.1 操作系统安装要求2.2 下载安装包2.3 解压2.4 配置FE2.5 配置BE2.6 添加BE2.7 FE 扩容和缩容2.8 Doris 集群群起脚本 3.图形化 1.安装要求
1.1 Linux操作系统要求 1.2 软件需求 1…
【Apache Pinot】Data upload jobtype 粗略分析
背景
目前我司大部分实时数据和离线数据都存储在 pinot 数据库中，离线数据需要通过脚本去生成对应的数据上传到数据库里面，但是其中 config 中有个 jobtype 让人有点迷惑，本文简单的做一个概念的整理
用处
先说一下流程，目前我…
【大数据 - Doris 实践】数据表的基本使用（二）：数据划分
数据表的基本使用（二）：数据划分 1.列定义2.分区与分桶2.1 Partition2.1.1 Range 分区2.1.2 List 分区 2.2 Bucket2.3 使用复合分区的场景 3.PROPERTIES3.1 replication_num3.2 storage_medium3.3 storage_cooldown_time 4.ENGINE 1.列定义
列…
OLAP技术的发展及趋势简述
这里写自定义目录标题 历史发展基于电子表格的数据分析基于传统数据库的数据分析基于大数据的数据分析 当下的现状OLAP技术的分类MOLAPROLAPHOLAP 主流的OLAP引擎新技术的普及内存向量计算列式数据存储及交换增量查询多源融合计算下推物化视图 发展趋势智能化分析多源融合和自动…
HTAP混合事务/分析数据库调研
1 什么是HTAP HTAPHybrid transactional/analytical processing
特指同时具备处理事务和分析能力的数据库
目前国内有哪些开源产品：TiDB，OceanBase
Gartner 的最新报告表明，比单一统一数据库所能提供的优势更广泛。传统的应用程序架构将事…
浅谈 ByteHouse Projection 优化实践
预聚合是 OLAP 系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现…
saiku操作手册（第一课）
1. 准备资料
1. 管理员账号（可以加qq群703185254、703185254咨询）
2. schema文件（备注中有准备，也可自己准备）
3. 数据源。需要提前准备好foodmart的mysql数据库脚本。可以点击[下载]获得。
2 操作步骤
2.1 使用管…
使用saiku基于FOODMART设计数据分析课程
基于FOODMART设计数据分析课程
课程数据仓库课程设计题目Foodmart批发店销售分析系统主讲内容基于Foodmart实例数据库，进行数据分析，要求满足以下分析要求 1. 按时间级别分析不同商店的销售额、销售成本额 2. 按时间级别分析每个产品的销售额、销售成本…
ClickHouse进阶（十）：Clickhouse数据查询-4
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术,IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 📌订阅…
Apache Doris安装部署
Apache Doris安装部署
版本：
CentOS 7.6 Apache Doris 0.14.0
编译
选择合适的版本进行下载，此次选择0.14.0版本
下载 | Apache Doris
一、CentOS编译
1 安装依赖
sudo yum groupinstall Development Tools && sudo yum install maven c…
大数据OLAP分析数据库ClickHouse之表引擎
1、ClickHouse表引擎
表引擎分为四种：
1. MergeTree 2. Log 3. Integrations 4. Special
1.MergeTree
MergeTree系列引擎适用于高负载任务，支持大数据量的快速写入并进行后续的数据处理，通用程度高且功能强大。
该系列引擎的共同特点是支…
Presto简介、部署、原理和使用介绍
Presto简介、部署、原理和使用介绍
1. Presto简介
1-1. Presto概念
Presto是由Facebook开发的一款开源的分布式SQL查询引擎，最初于2012年发布，并在2013年成为Apache项目的一部分；Presto 作为现在在企业中流行使用的即席查询框架&#x…
商业智能BI中的OLAP是什么
人们在谈商业智能（BI）时，经常会提到OLAP，有的人可能认为OLAP工具就是BI。其实OLAP仅是BI的一部分，是很重要的一项分析技术。那什么是OLAP呢？
OLAP（Online analytical processing）&a…
【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表
数据表的基本使用（一）：基本概念、创建表 1.创建用户和数据库2.Doris 中数据表的基本概念2.1 Row & Column2.2 Partition & Tablet 3.建表实操3.1 建表语法3.2 字段类型3.3 创建表3.3.1 Range Partition3.3.2 List Partition 1.创建用…