数据项目交付最佳实践

网友投稿 692 2022-11-14

主数据项目交付最佳实践

主数据项目交付最佳实践

任何规模的企业都会存在各种各样的数据问题,主数据管理早在十几年前就已经是企业信息化建设中的一部分,由于企业普遍对此缺乏正确的认识、系统个数较少、数据混乱现象不明显等原因,导致主数据管理这一手段并没有被企业真正的重视起来,在IT架构建设中,也被安排在较为靠后的阶段。

而近两年主数据管理项目数量逐渐增加,一方面是随着大数据分析的风潮,数据的利用被高度重视起来,主数据管理作为大数据分析建设的首要前提,自然也随之变热;另一方面是随着企业信息化的建设深入,主数据管理阶段全面到来,公司作为SOA综合集成产品及解决方案的提供商,数据治理是主打方案之一,本文主要分享在各行业主数据治理项目交付中沉淀的最佳实践。

相关定义区分

主数据管理是解决企业经营中各类主数据在不同系统中的名称、编码等信息不一致现象,保证企业内主数据单一视图的准确性、一致性及完整性。许多人对主数据的定义或与其它技术的内容存在一定的理解歧义,在正式分享最佳实践前,先对主数据、主数据范围、与相关数据类项目做个区分。

>>>>主数据

指在整个企业范围内各个业务系统间要共享的数据,系统包括操作型/事务型应用系统以及分析型系统,例如:组织机构、客户、供应商、产品/物料、帐户、资产/设备等。

>>>>主数据范围

不是企业内部所有的业务数据都是主数据,主数据的范围是指在企业各个系统间共享的必要的业务数据,简单来说就是在处理业务中被重复使用的数据,在进行主数据管理前,这些数据存在于各个异构应用系统中。

>>>>与数据类项目的区别

与数据相关的项目有主数据治理、数据集成、数据交换、数据分析等项目,很多企业会将它们的概念混淆,认为只要实施其中一个,其它的问题都可以随着解决。事实上,他们之间是存在一定联系的,主数据治理是更有效实现数据集成/交换、数据决策分析的前提。

不能实现数据集成

很多企业认为进行主数据治理之后,就相当于进行了企业内部的数据集成,实现业务数据的有效串联及共享,事实上,数据集成是企业数据治理部分的另一个工作,需要企业服务总线来实现,主数据只是负责把需要在各个系统间共享的主数据进行采集和分发,保证为各个系统输送干净的数据。

真正的数据集成作为整合IT架构中的一部分,如上图所示,通常在主数据治理之后进行,基于企业对核心业务数据的跨系统协同和共享需求而产生。主数据作为辅助,经过治理实现企业能够集中化管理需要集成共享的数据,在项目实施中保证了集成数据的完整性、准确性、一致性。

主数据不等于数仓

主数据治理对数仓建设具备辅助作用,为其提供干净的数据,但主数据管理却不等于构建数据仓库。有些数仓在构建时具备了数据清洗功能,但数仓是将各个系统中的所有业务数据集中在一起进行分析,之后提供给数据分析工具,而主数据是把各系统中需要共享的数据集中在一起清洗,之后还会将变化后的数据同步分发至关联的业务系统中。

在数仓的建设中,主数据与各系统及数仓的数据关系如上图所示,业务数据提出对企业主数据的变动申请;主数据管理平台根据业务系统需求对主数据进行清洗等操作后,将治理完整准确的主数据分发给相关应用系统;主数据管理平台同时为决策支持和数据仓库提供准确的数据源,以供决策分析。

数据问题分析

如开头所说,主数据管理问题在行业、企业中普遍存在,只是发现的时机早晚而已,既然下定决心治理,首先就要对数据问题进行彻底分析,笔者这里分为两个方面进行讲述,一方面为产生上述问题的根源,另一方面为企业内部已经凸显出来的问题。

>>>>数据问题产生根源

笔者认为造成数据问题的根源一定程度上是企业业务不断扩张、系统逐步构建、IT技术发展的渐进性造成的,企业发展初期不会意识到、也不会首先进行主数据的管理,都是从支撑企业发展、内部运营管理的应用系统开始建设,从简单到复杂、从轻便到繁重,就如在信息化问题上经常看到的那句话:对于企业来说,更多的是由下至上构建系统,而不是由上至下构建,必然缺乏整个企业范围内的统一规划。正因为上述现象,才有了现在经常被提到的信息孤岛、流程割裂等现象,而主数据管理又是企业实现内部决策分析、业务流程再造的前提,自然也不可或缺。

>>>>企业内部存在问题

1. 主数据管理定义理解偏差,误认为数据分析可以一并将企业内部数据进行有效治理,不开展、不重视主数据管理建设;

2. 数据源头多、杂而乱,之间彼此割裂孤立,关键信息数据存在于企业内外部的各个业务应用系统中,不能跨部门、组织传播;

3. 数据质量问题引发的业务流程断档或关键交易的失败,对于管理层来说,不能基于数据制定有效的决策分析;

4. 企业不了解当前内部有多少可用数据,哪些数据可以作为治理源头,哪些数据可以部门间交叉利用等。

主数据管理实施

对于主数据管理项目主要使用MDM主数据管理平台解决,但项目不仅靠技术工具,还要从团队建设、管理体系、技术体系等多方面考虑,更多在于确定架构、流程、原则。

>>>>团队体系建设

主数据管理的基础是建立起企业级的管理团队,明确每位队员的责任,数据管理团队按照需要管控的内容进行岗位、角色的设置与分工,明确详细的分工职责,确定不同的主数据操作者,如:管理者、申请者、审批者、使用者等。

>>>>管理体系建设

管理体系主要建立主数据管理的流程、规范、制度,建立主数据管理制度,制定信息代码管理办法,维护细则、培训机制、应用考核规范等管理制度,根据管理制度建立管理工作,并严格执行工作流程。

>>>>技术体系建设

技术体系方面主要包括主数据管理工具、信息系统之间按照数据管理接口进行规范、建设数据标准模板等。

1. 建立数据标准与规范

完成企业数据现状调研及需求分析、规划和设计信息标准化体系架构(设计信息标准化体系架构、组织管理管控、系统集成架构、运维架构体系等)、制定统一数据标准与规范(分类标准、描述模板、编码规则、数据模型等)。通常在主数据管理项目中,典型的编码规则如下,以供应商为例:

编码组成

供应商编码采用大写字母S(代表含义:供应商英文Supplier首字母)+9位无含义数字流水编码。

编码说明

供应商编码由S+9位定长无含义流水码组成,编码顺序递增。

编码结构及表示法

供应商编码结构为:

编码结构及表示法:

2. 编制统一信息代码

按照数据标准和规范,对现有数据进行梳理和清理,基于前期对业务梳理与分析,规划设计一套基于统一编码的企业主数据管理模型,形成规范的数据代码库,以提高数据的共享性和唯一性,以供应商为例,具体规范如下:

3. 搭建主数据管理平台

严格选型主数据管理工具,实现主数据申请、审批、校验、分发,数据建模、数据清洗、数据管理流程配置、系统管理等功能,如下图样例功能:

主数据管理项目不仅需要搭建MDM主数据管理平台,还需要与ESB企业服务总线或ETL数据传输转换工具进行配合。通过主数据管理平台在整个企业内部制定并执行统一的、符合业务要求的、科学合理的数据标准,通过数据标准的执行使得企业内部的各个业务环境使用的主数据完整统一。

通过ESB或ETL完成业务数据同步分发部分的功能,在SOA综合集成理论中,通常使用ESB平台一同参与项目,实现批量数据传输、同步、分发及控制、多协议调用、多方式触发等,辅助基础数据治理,如下图,以管理组织、人员、岗位为例。

最佳实践输出

主数据管理项目与其它集成类项目不同,都是具备行业特性的,而对于主数据管理产品,市面上有很多大而全的主数据平台产品,但产品只是项目中的一部分,真正做好主数据管理类项目,还需要从多个方面考虑,例如业务的契合度,前期的调研、业务的梳理、制定的策略流程等等。

>>>>业务配合,循序渐进

主数据管理项目具备行业性,相比普通IT治理集成类项目来说,不是实施方单方面就可以解决的项目,阻力风险都更大一些,必须以业务需求做为驱动,真正决定或推动主数据管理项目成功的是业务人员,而不是IT人员,项目中需要多让业务部门人员参与,了解企业的组织架构、业务流程,摸清企业主数据运用现状,实施方对客户业务特征、经营模式、业务流程的熟悉程度等。

>>>>标杆打造,加重理解

项目实施过程中要注重标杆客户打造,例如:某行业中的灯塔客户、行业中客户场景可以做为主数据治理的典型方案,在实施过程中将一些典型的、常用的、标准的功能打造成样例,预置在产品及融入整体解决方案中,一方面为其它相同行业、相似场景企业做为参考样例使其更加理解项目的同时,加强对项目的重视和配合;另一方面预置的功能和熟悉的方案有效增加项目实施成功率及保障项目进度。

>>>>业务梳理,出具规范

主数据治理项目与实际业务有很强的联系,所以在实施前对业务的梳理十分重要,实施方要求具备深厚的行业知识和相关行业项目的交付经验,掌握行业特征、经营模式、运营管理流程,可以快速切入业务,并帮助客户的各部门进行有效的业务梳理,起到指导性作用。无论对于项目最初的调研、实施中的开发、上线前的联测,都需要有输出,出具相关标准规范,如:主数据治理标准规范、主数据清洗标准规范、系统开发规范、平台测试规范等。标准规范要经过严格评审把关,做到可落地,可实施。

>>>>产品结合,方案合理

有效的解决方案一定是根据企业自身业务情况来进行产品的组合拆分打造出来的,通常最基本的主数据治理解决方案会伴随ESB企业服务总线产品结合进行,主数据负责数据治理工作,ESB负责数据同步分发工作。数通畅联在任何项目方案的选择上,都会遵守方案合理规划、产品最优组合的模式,在企业信息化能力或业务需求没有达到构建标准的基础上,将合理利用企业现有资源,避免造成资源不必要的浪费。

>>>>整体规划,逐步上线

对于项目的实施需要按照整体规划、先易后难、逐步上线这几个步骤开展,首先根据项目进行多轮深入调研,了解各部门之间的协作关系、业务流程、数据共用情况,对业务进行梳理,过程中发现及反推业务中存在的问题并明确,基于调研梳理情况进行项目整体架构的规划,包括业务架构、系统架构、数据架构等,根据企业现有情况进行分步实施。之后功能实现先易后难,重点加强难点的攻克,过程中保证部分功能快速上线,用户稳定使用的同时,后续功能全部采用灰度升级,推进项目顺利验收。

>>>>切合实际,正视冲突

始终以务实的态度实施交付,意在从整体IT架构层面真正解决企业内部数据混乱、重复、不完整等问题,治理成果可以被复用,为后续信息化建设平滑接入奠定良好的基础,而不是限于表面工程,中看不中用。除此之外,项目中不可避免与各部门人员、企业信息部、应用系统厂商进行业务交互、梳理,而部门间的不配合、系统厂商间的相互推诿、信息部的理解不到位很容易发生扯皮冲突的情况,勇于正视这种情况,很多时候这种情况也是推进项目,有效解决问题,沉淀经验教训的一种手段。

数字经济时代,如何有效利用数据就好比一场无硝烟的战争,面对数据治理、大数据平台、云计算、人工智能等各种理念的轮番轰炸,无论是系统厂商还是企业用户,面对数据的治理、获取、利用都变得浮躁,急于求胜。但企业数据治理是一条曲折而漫长的道路,这条路上讲究的不是谁快,而是谁稳,信息化意识、整体规划、构建前提、严格选型、协作配合缺一不可,只有这样,数据治理才不会背离企业IT建设目标,与业务渐行渐远,最终成为一个空壳。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:为什么mybatis中的SqlSession一定要关闭
下一篇:地产行业主数据建设项目思考
相关文章

 发表评论

暂时没有评论,来抢沙发吧~