谈谈主数据与数字化转型

2023-06-25 13:43 来源:36氪

想象一下社会中的任何组织,每个组织都变得数据密集,其中包含有关员工及其薪资、公司产品和服务、客户、政策、笔记本电脑、服务器、配件等实物资产、供应商信息、联系信息、忠诚度计划等的信息。

现在,想一想所有这些数据是从哪里产生的。如果您只考虑一项有关客户的数据,它在数据供应源中具有多个接触点,例如销售团队、供应商、在线门户、营销接触点等。

但这些客户数据以什么形式出现呢?有些可能通过在线/实体形式提供,或者有时由客户提供并由销售/营销团队理解。因此,数据的复杂性和可靠性始终是一个很大的问题,解决这一挑战并不容易。

例如,您可能拥有数百家商店,通过多种渠道向数百万客户销售来自不同品牌的数千种产品。这导致需要一次性管理大量数据,这也可以确保数据设置正确,这还可以确保有效地跟踪和管理数据更改。

数据和其他资源一样是一种资源,我们需要有效地管理数据。管理资源意味着正确的数据、正确的时间、正确的地点、正确的数量和正确的质量。

根据 D&B (Dun & Bradstreet) 的研究,数据每年退化 27%,两年内退化 61%,第三年,数据将根本无法使用。

根据 HBR(哈佛商业评论)的研究,不良数据仅在美国每年就造成 3 万亿美元的损失,可想而知其全球影响。

我们知道,这看起来非常复杂,首先想到的是“如果组织的所有数据都驻留在一个集中的位置并且所有企业在其流程中使用相同的数据,这不是更好吗?”

其实,这不是实际发生的情况。作为最终客户,我与我的个人资料数据、产品数据等进行交互,所有这些也都可能发生变化。所有这些不同的数据由不同系统中的不同部门管理。

企业一直关注的关键问题

谁是最赚钱的客户?

我们服务多少客户?

这些客户过去从我们这里买了什么?

帮助找到潜在客户的各种客户接触点有哪些?

这些客户的购买潜力有多大?

可以根据他们的购买历史更好地为这些客户服务吗?

可以向这些客户推荐其他产品吗?

哪些产品最畅销?

这似乎是一个大问题,但为什么会发生这种情况??

让我们强调一些关键原因:

数据透明度

组织面临的第一个挑战是,不同部门维护的数据与其他部门完全隔离,很多时候他们也不知道这些数据是否存在于生态系统中并可供使用。企业需要能够获取、管理并与他们共享准确和更新的信息。随着数据的数量、种类和碎片化程度急剧增加,必须保持整个数据供应链的质量、一致性和清晰度。而且,最重要的是使这些数据可供所有业务用户使用。

可信数据

数据影响我们的日常决策,我们假设信息是准确的。我们在网上看到的价格、我们订购的产品、显示的信息。期望很简单——信息应该是准确的。

组织要满足市场的这种期望,实属不易。有些系统、过程会接触数据、修改数据,有时还会衰减数据。为了提供这种准确性,企业需要可信数据。

数据孤岛

为了规避上述问题,企业开始创建他们自己信任和管理的治理数据集。所以现在在一个组织中,我们有多个版本的数据,所有这些都受到信任和管理。每个部门都会再次遇到同样的问题,但方式不同——数据孤岛、相同的数据但信任的多个版本。

让我们将所有这些放在恐怖故事的背景下,以帮助您更好地理解。请记住,这是组织中不断发生的众多事件之一。

“患者X女士遭遇了意外。一个在附近走来帮助病人的人拨打了 911。救援队赶到,为了确认病人的身份,他们检查了她的钱包,并找到了一张医院身份证。研究小组发现,如果他们将受害者带到同一家医院,假设他们有一些患者过去的记录和病史,那么这是一个更好的选择。他们以上述假设到达 XYZ 医院并收治患者。

医院查阅了患者的过往记录并开始了治疗。然而,结果并不如预期。

如果我们进一步深入挖掘原因,就会发现根本原因是完整的患者档案数据没有完全更新,而且一些信息还存在于各个系统的孤岛中。例如,患者有药物过敏史,但被维持在未连接的单独系统中。

不完整的患者资料可能会造成经济和声誉方面的破坏性后果。这里的关键问题是关于患者的零散、不一致和不可靠的信息可能导致患者档案不完整和进一步的医疗风险。”

所以我们现在怎么办?我们有解决办法吗?是的,让我们现在带你去那里!

主数据管理:

您在使用 MDM 时遇到的第一个绊脚石是当您的同行要求您解释这个由三个字母组成的首字母缩写词是什么时。让我们为您列出不同的行业定义。

“主数据管理 (MDM) 是一种技术支持的学科,业务和 IT 协同工作以确保企业官方共享主数据资产的统一性、准确性、管理、语义一致性和责任制。主数据是一组一致且统一的标识符和扩展属性,用于描述企业的核心实体,包括客户、潜在客户、公民、供应商、员工、组织机构和会计科目表。”

让我们首先向您解释什么是主数据。主数据是许多人在非常复杂的短语中常用的术语,用简单的语言来说,它是对任何业务都至关重要的核心数据。主数据或更通俗地称为黄金记录或单一事实来源 (SSOT) 的数据特征如下:

去重-非冗余

集中式 - 多个部门、业务线的单一事实来源

一致——很少改变。如果确实发生了变化,则传播给消费者

值得信赖——可靠的、更新的数据。

丰富 - 增强了相关背景

解释主数据的最佳示例之一就是客户数据,其中可能包括姓名、电子邮件、电话和地址(省、城市、县、国家/地区、邮政编码等)。当任何组织拥有大量客户时,这些数据可能会变得非常复杂。任何错过的更新或错误都可能导致对客户的错误洞察(销售潜力、购买历史、相关性等),并可能导致无效的决策。

例如,对于同一客户“XYZ Technologies Limited”,3 个不同交易系统中存在的信息是不同的,您最终会假设这 3 个是不同的客户。

主数据解决了这个问题,并通过系统和流程将所有内容联系在一起,这些系统和流程可以将这 3 个实体识别为同一实体,进行整合、重复数据删除,并通过来自其他内部系统或使用第三部分数据丰富服务提供商的附加信息来丰富信息。而且,它不是单向的数据流,而是一条双向的通道,其中主数据也可以被这些交易系统使用。

在“XYZ Technologies Limited”的例子中,我们只谈到了主数据的一类“客户”,但主数据可以分为3大类,并且涉及主数据的多重属性。下图将帮助您更好地理解。

现在您应该已经正确理解了,MDM 或主数据管理,是整合来自不同来源的数据并创建统一数据的实践,该数据是值得信赖的、干净的、重复数据删除的、更新的、丰富的,并且可以由跨部门的所有业务功能使用。有效和可靠决策的组织。

主数据管理正在为每个数据实体创建一个版本或黄金记录,无论是个人、组织还是产品。这涉及为已删除重复数据、清理和丰富的所述实体创建一个单一真相来源 (SSOT)。该版本形成了可靠的数据源,可以与业务用户进行管理和共享,以实现可靠的决策和准确的报告。

曾经有一段时间,销售、营销、订单管理人员等不同的业务职能部门依赖于存储在孤岛或个人存储设备或计算机中的信息。通常,在整个组织中部署的用于各种执行决策、数据可视化和报告的应用程序也受到不同来源中可用的碎片化信息的驱动,从而导致相互矛盾的结果。但是,随着组织转向更多数据驱动的决策,在业务核心开发主数据的投资越来越受欢迎。

通常,在开展任何数字化转型计划时,思维过程仅限于技术障碍、要求和流程。但是,实施主数据管理不仅仅是一个技术问题,事实上它是一个战略转变,因为它还需要重新调整业务流程。通常它甚至超越了战略转变,因为这意味着说服负责数据供应链中不同节点的各个利益相关者。虽然,期望业务利益相关者会立即接受变革,但需要做出决策以及影响决策的主要考虑因素。

制定 MDM 实施策略很重要,但只有当结果与业务目标保持一致并且会为组织创造有影响力和可衡量的价值时才会有影响力。

实施 MDM 的原则:

该策略不能仅限于创建主数据,更大的问题是维护它。保持跨系统一致性的流程是拥有可依赖并用于做出重要业务决策的黄金数据副本的关键。

但是,这些商业决策的目的是什么?哪些业务驱动因素需要在任何组织中实施主数据管理?以下是一些示例,说明了实施客户 MDM 的驱动因素:

集中所有客户数据

提高数据质量

360度客户视角

完整的客户资料和购买历史

专注准确的客户沟通

更好的客户体验

追加销售/交叉销售识别

更好的业务决策

最重要的是确定业务目标,然后制定战略以实现这些目标。

为实现这些目标,主数据管理应遵循某些原则:

战略:

一旦定义了业务目标,接下来最重要的事情就是制定实施策略:

路线图:应该做什么以及按什么顺序

资源:需要什么资源来实现这些目标,需要多少资源

当前状态:当前的挑战和用例是什么

目标状态:希望未来的状态如何

2. 治理:

数据治理是管理数据的可用性、完整性、安全性和可用性的过程。它包括确保数据满足企业需求的规则、政策和框架。

简单来说,它是关于:

数据如何收集

数据如何存储

如何处理数据

数据如何处置

可以访问什么类型的数据

数据治理捕获数据源、数据元素的定义、流程所有权和合规性遵守情况。

3. 流程:每个数据元素都会经历从初始捕获/创建、存储、处理、使用和处置的生命周期。为了驱动 MDM 活动,不可避免地要在数据生命周期的每个阶段定义流程。

4. 政策:为了确保组织的数据得到一致的管理和准确的使用,需要定义一套政策和指南。这些不仅限于内部,还可以扩展到遵守外部法规。

5. 指标:用于监控数据处理有效性的所有统计数据/目标/测量。例如,数据质量测量——准确性、完整性、一致性等。

6. 技术:支持技术或平台。例如。Informatica、SAP MDG、MDM管理系统等等。

7. 人员:就像任何产品或流程的成功一样,明确定义的所有权很重要,MDM 的实施也很重要。实施和维护 MDM 的唯一目的是帮助业务团队通过准确的数据和见解做出更好的决策来实现组织的业务目标。定义明确的所有权(以产品负责人、数据管理员等形式)非常重要,以满足每个业务团队的需求并为了业务利益相关者的利益推动战略。

实施 MDM 的注意事项:

识别来源和使用者:

实施 MDM 的一个非常重要的要素是了解哪些来源生成主数据以及所有系统使用哪些数据。需要回答的一些关键问题是:

(a) 存储的数据是什么?

(b) 数据量是多少?

(c) 这些数据是如何更新的,更新频率是多少?

(d) 如何增强/丰富数据?

上述问题处于较高层次,但需要更深入地挖掘并揭示构建战略和实施的细节。

2. 数据剖析:

了解数据的当前状态是 MDM 之旅的第一步。检查现有数据和来源,确定现有数据质量和规则,可以帮助为构建 MDM 实施策略的后续步骤铺平道路。通过使用这些信息创建摘要可以帮助塑造和实现更大项目实施的目标。

3. 元数据:

元数据管理是所有 MDM 活动的关键。维护干净且可用的元数据存储库,有助于组织拥有可靠的业务词汇表,从而轻松定位和访问主数据。未能维护干净的元数据可能会导致对关键业务术语的误解。

4. MDM 实施模式:

在组织中实施主数据管理之前,需要确定的一个重要基础部分是 MDM 实施方式。

根据业务目标或组织结构,不同组织的 MDM 实施模式可能有所不同。

(a) 整合模式:

在这种模式中,主数据在集中式主数据存储中进行整合,以创建唯一可信数据或黄金真相。

这种模式的优点/特点是:

可以轻松地将来自多个来源的数据提取到 MDM 中心

源系统没有任何变化,因此,这种模式价格低廉且设置速度更快

没有尝试清理源数据

来自多个来源的数据在中心进行清理和匹配以创建单一视图,因此中心充当适合企业报告和分析的高质量企业数据仓库

(b) 登记模式

在这种模式中,通过对源数据进行清理、匹配和合并算法,对记录进行重复数据删除。

这种模式的优点/特点是:

这种模式适用于有大量源系统的地方

在这种模式中,清理后的数据不会被发送回源系统,从而避免了更改源数据的风险以及不满足源系统监管要求的风险

通常,在此样式中,会为每个记录分配一个唯一标识符来标识 SSOT

创建主数据唯一标识符和源系统标识符之间的交叉引用。这有助于使用交叉引用生成实时综合视图。

(c) 共存模式

这种模式类似于整合模式,但有一个主要区别,即它允许存储在中心的主数据在源系统中更新。

这种模式的优点/特点是:

由于这需要在源系统中进行更新,因此实施起来成本高昂

在此系统中,数据应在上传到 MDM hub 之前进行清理

由于数据的掌握也发生在源系统中,这使得与中心的同步变得容易

这种模式的总体主数据质量很高

这种样式适用于高度准确的主数据的报告。

(d) 集中式

这种模式也被称为交易模式。在这种情况下,主数据在 MDM hub 中进行管理,所有清理、匹配和丰富都发生在数据上。

这种模式的优点/特点是:

主数据是在中心而不是源系统中编写的

主数据与订阅系统共享

合并可能发生在集线器中,系统可以订阅这些更新

主数据准确完整

最后的想法:

虽然,在 MDM 实施过程中似乎需要做很多事情,但对于任何项目启动和实施来说不是一样的吗?每个组织的主数据实施方式有所不同,因为每个组织都有独特的目标和业务问题。