一篇文章搞懂数据仓库:数据应用--OLAP

网友投稿 709 2022-11-13

一篇文章搞懂数据仓库:数据应用--OLAP

一篇文章搞懂数据仓库:数据应用--OLAP

目录

​​1、​​​​OLAP​​​​和​​​​OLTP​​​​的区别​​

​​2、OLAP分类​​

​​3、OLAP基本操作​​

​​4、OLAP选型​​

1、olap和oltp的区别


OLTP

OLAP

对象

业务开发人员

分析决策人员

功能

日常事务处理

面向分析决策

模型

关系模型

多维模型

数据量

几条或几十条记录

>百万于万条记录

操作类型

增、删、查、改(CRUD)

查询为主

总体概括

联机事务处理

在线分析处理

2、OLAP分类

MOLAP,基于多维数组的存储模型,也是OLAP最初的形态,特点是对数据进行预计算,以空间换效率,明细和聚合数据都保存在cube中。但生成cube需要大量时间和空间。ROLAP,基于关系模型进行存储数据,不需要预计算,按需即时查询。明细和汇总数据都保存在关系型数据库事实表中。其特点是与事务实体对应,关系清晰;但一般需要较为复杂的数据准备。在响应前端需求时,一般较快,但取决于计算引擎能力。HOLAP,混合模型,细节数据以ROLAP存放,聚合数据以MOLAP存放。这种方式相对灵活,且更加高效。可按企业业务场景和数据粒度进行取舍,没有最好,只有最适合。

3、OLAP基本操作

★钻取:维的层次变化,从粗粒度到细粒度,汇总数据下钻到明细数据。如通过季度销售数据钻取每个月的销售数据★上卷:钻取的逆,向上钻取。从细粒度到粗粒度,细粒度数据到不同维层级的汇总。eg. 通过每个月的销售数据汇总季度、年销售数据★切片:特定维数据(剩余维两个)。eg. 只选电子产品销售数据★切块:维区间数据(剩余维三个)。eg. 第一季度到第二季度销售数据★旋转:维位置互换(数据行列互换),通过旋转可以得到不同视角的数据。

4、OLAP选型

druid

实时查询和分析的高容错、高性能开源分布式系统,用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。实时的数据消费,真正做到数据摄入实时、查询结果实时。扩展性强,支持 PB 级数据极高的高可用保障,支持滚动升级。druid属于时间存储,删除操作比较繁琐,且不支持查询条件删除数据,只能根据时间范围删除数据。Druid能接受的数据的格式相对简单,比如不能处理嵌套结构的数据。

kylin

可扩展超快olap引擎,Hadoop/Spark上百亿数据规模提供 Hadoop ANSI SQL 接口交互式查询能力,用户可以与Hadoop数据进行亚秒级交互百亿以上数据集构建多维立方体(MOLAP CUBE)与BI工具无缝整合,如Tableau,PowerBI/Excel,MSTR,QlikSense,Hue和SuperSet

impala、presto...

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:3.认识和操作一下mysql的基本命令
下一篇:软件测试mysql面试题:Hash索引和B+树所有有什么区别或者说优劣呢?
相关文章

 发表评论

暂时没有评论,来抢沙发吧~