微前端架构如何改变企业的开发模式与效率提升
757
2022-11-13
一篇文章搞懂数据仓库:数据应用--OLAP
目录
1、OLAP和OLTP的区别
2、OLAP分类
3、OLAP基本操作
4、OLAP选型
1、olap和oltp的区别
OLTP | OLAP | |
对象 | 业务开发人员 | 分析决策人员 |
功能 | 日常事务处理 | 面向分析决策 |
模型 | 关系模型 | 多维模型 |
数据量 | 几条或几十条记录 | >百万于万条记录 |
操作类型 | 增、删、查、改(CRUD) | 查询为主 |
总体概括 | 联机事务处理 | 在线分析处理 |
2、OLAP分类
MOLAP,基于多维数组的存储模型,也是OLAP最初的形态,特点是对数据进行预计算,以空间换效率,明细和聚合数据都保存在cube中。但生成cube需要大量时间和空间。ROLAP,基于关系模型进行存储数据,不需要预计算,按需即时查询。明细和汇总数据都保存在关系型数据库事实表中。其特点是与事务实体对应,关系清晰;但一般需要较为复杂的数据准备。在响应前端需求时,一般较快,但取决于计算引擎能力。HOLAP,混合模型,细节数据以ROLAP存放,聚合数据以MOLAP存放。这种方式相对灵活,且更加高效。可按企业业务场景和数据粒度进行取舍,没有最好,只有最适合。
3、OLAP基本操作
★钻取:维的层次变化,从粗粒度到细粒度,汇总数据下钻到明细数据。如通过季度销售数据钻取每个月的销售数据★上卷:钻取的逆,向上钻取。从细粒度到粗粒度,细粒度数据到不同维层级的汇总。eg. 通过每个月的销售数据汇总季度、年销售数据★切片:特定维数据(剩余维两个)。eg. 只选电子产品销售数据★切块:维区间数据(剩余维三个)。eg. 第一季度到第二季度销售数据★旋转:维位置互换(数据行列互换),通过旋转可以得到不同视角的数据。
4、OLAP选型
druid
实时查询和分析的高容错、高性能开源分布式系统,用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。实时的数据消费,真正做到数据摄入实时、查询结果实时。扩展性强,支持 PB 级数据极高的高可用保障,支持滚动升级。druid属于时间存储,删除操作比较繁琐,且不支持查询条件删除数据,只能根据时间范围删除数据。Druid能接受的数据的格式相对简单,比如不能处理嵌套结构的数据。
kylin
可扩展超快olap引擎,Hadoop/Spark上百亿数据规模提供 Hadoop ANSI SQL 接口交互式查询能力,用户可以与Hadoop数据进行亚秒级交互百亿以上数据集构建多维立方体(MOLAP CUBE)与BI工具无缝整合,如Tableau,PowerBI/Excel,MSTR,QlikSense,Hue和SuperSet
impala、presto...
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~