实时数据中心建设思路与企业实践｜青训营笔记

实时数据中心建设思路与企业实践｜青训营笔记

​

一、企业数据架构

企业整体数据架构：基础引擎、数据集成/生产/服务、开发和治理工具关键模块及数据流向

数据集成

业务数据收集：数据库变更数据收集(CDC)、业务日志收集(业务数据->数据处理系统)

大数据系统内传输：基于Flink丰富的connector体系 (数据系统内)

数据生产：实时和离线生产pipeline (数据系统内)

数据服务：统一数据服务架构(数据系统->业务系统)

二、数据中心案例

以房产业务举例说明数据中心建设目标和要求房产业务介绍：房产服务平台、经纪人、客户数据中心核心指标分析：供需、过程、结果数据中心查询要求：查询条件、数据结果、技术要求

三、实时数据生产

案例生产方案分析：数据探查、明确指标口径和产出粒度、生产架构、计算难点数据探查：分析数据信息是否齐全，即基于原始数据计算指标可行性数据架构：lambda架构和全量计算架构比对，确定合适的生产架构方案

计算难点解决

全量数据获取：hybrid source

任务稳定性：消费LAG、JVM、资源、算子数据正确性：和离线比对、趋势比对、异常值占比

数据分层：数据复用，减少重复开发数据管理：格式、元数据

四、数据服务

整体架构：查询引擎、查询优化和执行、稳定性、元数据案例查询方案分析

如何更快的查询

原始信息筛选和关联效率计算处理效率只关注目标所需数据

关注目标信息

列存

原始信息筛选效率

OLAP引擎索引方案

原始信息关联

join方案及优化

计算效率

向量化

执行计划优化：RBO、CBO应用层优化

宽表构建提升信息密度：bit化、bitmap

查询稳定性

熔断、限流、降级

元数据管理：指标口径管理、查询生成

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。