数据治理与数据流

我们首先就每项数据的含义达成一致，因为“客户”“有效合同”和“销售”在每个部门都有不同的定义。对于客户、产品和销售的每项数据，我们确定其产生的系统、公司内的负责人，以及所有部门共同认可的定义。此外，我们还为以下情况制定质量规则：缺少部分数据的记录、重复录入的客户，以及两个系统的数值相互矛盾。每种情况都有对应规则：拒收、标记待核查，或采用指定来源的数值。

随后我们构建数据流，即数据从产生它的系统流向报告和AI模型所用位置的路径。这个位置是数据仓库，即汇集所有系统已核验数据的一个数据库，所有报告和模型在这里看到的都是相同的数字。数据传输本身采用ETL：从源系统提取数据，按质量规则检查，转换为统一格式，再写入数据仓库。数据流可以定期运行，也可以实时运行，即源系统中的变更一产生就进入数据仓库。

现有系统保持不变。将系统连接起来，使其在日常工作中相互交换数据，属于“系统与集成”服务中的单独范围；这里关注的是供报告和模型使用的数据。基于该数据仓库的管理报告和仪表盘属于单独的服务范围。工作成果包括数据源说明、质量规则，以及可查看数据是否到达的运行中的数据流。

1. 我们确定每项数据的来源。与目前编制报告的人员一起，核查每个系统如何记录客户、产品和销售。结果：数据源说明，以及系统之间需要由您裁定的矛盾清单。
2. 我们商定定义和质量规则。为每项有争议的数据指定来源和负责人，并为缺失和重复数据制定规则。结果：在开始构建之前由您批准的质量规则。
3. 我们构建数据流，并用您的数据验证。将系统逐个接入数据流，并将数据仓库中的数字与各部门目前报告中的数字进行比较。结果：存有已核验数据的数据仓库，以及与以往数字之间每一处差异的解释。
4. 我们将数据流投入日常使用。报告使用者和AI团队切换到数据仓库，停用原有导出，监控视图和通知交给指定人员。结果：统一的数据源投入使用，并有专人负责监督。

1. 当CRM和ERP给出的客户数据不一致时，以哪个系统为准，我方由谁决定？
2. 对于缺少部分数据或重复录入的记录，数据流会如何处理：拒收、标记，还是放入数据仓库？
3. 源系统发生变更后，数据要多长时间才会出现在数据仓库中？
4. 某个系统的数据没有到达时，谁会在多长时间内得知？
5. 数据仓库的数据存放在哪里，其中哪些是个人数据，由谁授予访问权限？
6. 定义和质量规则是否会形成书面文件，使其他承包商无需询问原作者就能新增数据项？

哪些数据、来自多少个系统、以什么频率汇入统一的数据集，我们会在流程分析中确定，最终给出包含工作范围的建议。