大数据技术体系

大数据技术体系

大数据技术体系

1.大数据技术体系

2.大数据开发语言

1.Java2.Python3.Scala

3.大数据分布式计算（一）

1.分布式计算

分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率

2.离线分布式计算

在计算开始前已知所有输入数据，输入数据不会发生变化，并且计算之后直接产生结果特点： 1.数据量巨大且保存时间长 2.在大量数据上进行复杂的批量运算 3.数据在计算之前已经完全到位，不会发生变化 4.能够方便的查询批量计算的结果

4.大数据分布式计算（二）

1.流式分布式计算

对大规模流动数据在不断变化的运动过程中实时得进行计算，来一条数据就计算一下主要技术： 1.spark Streamming 2.Storm 3.Flink

5.数据仓库技术

1.离线数仓

数据仓库是一个面向主题(Subject Oriented),集成的（Integrate）,相对稳定的（Non-Volatitle）,反映历史变化（Time Variant）的数据集合 数仓理论基础 数仓架构：Lambda架构和Kappa架构 离线数仓技术：Hive,Hbase,Sqoop,Kylin,MR等

2.实时仓库

实时仓库技术：Flume,Kafka,Flink等

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。