论数据质量管理的研究及作用

导语：论数据质量管理的研究及作用一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

从目前企业数据质量管理现状看来，数据生命周期被系统使用单位和系统割裂，按传统建设思路，随着业务管理水平提升自发形成的结果，并且数据问题很难被追溯；按系统边界进行数据质量管理，系统间数据冗余、不一致的现象较为严重；在目前信息化时代，仍然依赖大量手工报表进行数据分析，存在数据失真的可能。这主要归根于两方面原因，其分析如下：技术原因方面分析：基础数据分散在不同系统中由不同人员重复维护，产生多个版本；没有集中产生数据编码，不严格执行数据标准，导致对象无法被唯一识别；缺乏基础数据的实时共享和同步机制，缺乏基础数据的权威数据源定义，最终导致数据不一致。数据管理责任方面分析：“谁创建，谁负责；谁使用，谁监督。”此责任原则确定不完全恰当，有时候数据创建部门仅仅接受其他部门的数据录入要求，此时他们仅能为是否录入正确负责，作为数据负责部门未必恰当；未明确多个创建部门和使用部门情况下的数据责任，如有多个创建部门，如何一起负责，管理流程是怎么样的；存在权利和义务不对等，只强调了数据创建部门的义务，没有强调该权利；只强调了数据使用部门的权利，没有强调义务；数据使用过程中某些部门的职责未明确，数据使用过程中还涉及一些其他部门，未定义其职责，且未明确各部门在数据管控各项活动中的职责。迫切的现实需求，数据价值充分体现了建立一体化的数据质量管理体系势在必行。数据资源管理组织及认责体系不完善；数据资源管理的流程不完整；数据资源管理的技术支撑不足；数据标准及数据规划落地执行不足。电力企业需建立并落实数据质量管理评估、数据质量认责和数据质量稽查等工作，使其常态化。可以按照如下5个方面进行常态化工作开展。岗位落实方面：按照数据质量及实用化工作方案及相关细则，设置数据质量及实用化管理岗位，明确定义人员职责，完成相关培训。工作执行方面：根据企业制定的数据质量管理工作方案，执行日常数据质量管理工作，及时补充完善数据质量管理校验规则，按时按质开展日常数据质量检查，对数据质量报告、评价报告等及时反馈，解决相关数据质量问题。水平提升方面：根据企业制定的数据质量管理专项工程的工作目标和工作要求，开展常态数据稽查和数据巡视工作，持续提升数据质量管理水平，满足数据质量管理问题的解决完成率、及时率等指标要求。数据质量及实用化评价方面：衡量信息系统数据质量管理水平的量化指标，具体包括系统覆盖率、数据完整率、数据及时率、数据准确率、数据一致率、数据合规率等。数据稽查和数据巡视评价方面：衡量数据稽查和数据巡视工作开展情况的量化指标，具体包括数据稽查和数据巡视工作及时率、任务完成率等。将上述5个方面的常态化工作分阶段，可分为4个阶段开展工作。计划准备及启动阶段：确定数据质量管理的工作方案，制定详细工作计划，召开项目启动会并进行业务蓝图宣贯；明确工作目标及各部门人员工作职责及要求。诊断分析阶段：针对具体业务功能点及数据质量管理要求，制定详细的访谈提纲；对各业务部门进行访谈。了解业务难点，收集问题，对问题进行分析，编制诊断分析报告。问题整改阶段：在诊断分析阶段工作成果的基础上，制定详细的整改工作方案，编制实用化推进规划报告；协助业务部门进行问题整改，及时追踪问题整改进度，并更新整改状态。推进阶段及跟踪：跟进高数据质量管理推进工作，汇总、反馈进展情况，进行阶段性评价检查，最终实现数据质量管理水平的提升。

数据质量管理平台设想

数据质量管理平台是电力企业核心主数据的唯一数据源，业务系统只保留本地副本。核心主数据的创建和修改审批流程由业务系统完成，满足主数据约束条件后，在平台上完成数据的变更，再修改本地副本。各业务系统在设计、开发过程中应充分考虑并遵循这一原则。平台应支持数据质量和实用化评价、数据监控、数据稽查、数据认责、数据清理、数据巡视、数据质量知识库等内容，满足各级用户的数据质量和实用化管理需求。平台以集中管理核心主数据、统一标准管理、统一编码管理、统一数据质量管理4个方面来定位。集中管理核心主数据：唯一可信数据源，为企业提供完整的、实时的、准确的、一致的核心主数据视图，实现企业核心主数据的唯一识别、统一标识、集成和共享。统一标准管理：标准的维护、查询、版本管理、等功能。统一编码管理：基于企业信息分类和编码定义的各类业务编码规则，统一为各相关业务系统分配标准编码。统一数据质量管理：发现、分析、跟踪各相关系统数据质量问题，加强和提升企业数据质量事后管理能力。平台设计原则遵循规范性和统一性的原则，此原则坚持统一管理、统一规划、统一标准、统一建设的基本原则；遵循统一数据资源管理平台的功能规划，技术路线和产品选型的原则；遵循可重用、松藕合、就近部署原则；遵循创新原则，此原则充分借鉴业界先进实践经验的同时，尽量减少平台建设的成本和风险；遵循稳定性和高可靠性的原则，平台部署应采用集群、冗余、负载均衡等策略；遵循可扩展性的原则，软、硬件平台应具有良好的可拓展能力，能够方便地进行扩展，以适用各种业务和应用的不断发展。综合以上各个方面，提出了数据质量及实用化管理平台设想，如图2所示。该平台部分模块解析如下：质量问题发现：根据提供的检验规则定义功能对相关系统数据进行数据质量检查，包括校验目标、检验范围、检验逻辑、检验输出形式等；根据预定校验规则对指定数据定期或手动进行质量校验，保存数据质量校验结果以及样本问题数据，以便进行追踪分析。质量问题分析：提供报告格式定义功能，对数据质量问题进行统计，并根据定义的报告格式生成图表分析报告。质量问题跟踪：提供数据质量问题的查看、分配、反馈等流程处理功能，并对已处理完成的数据质量进行复核。

数据质量管理平台的应用效果

数据质量管理是通过制定企业的数据管理制度，利用组织人员、流程和技术的相互协作，使数据真正成为企业的核心资产的过程和方法。实现了数据质量管理工作闭环管理，理清了工作思路，规范了工作流程，平台的建立为该工作提供了重要保证。（1）数据搭建了从业务到应用的桥梁，平台是电力企业核心主数据的唯一数据源，使数据性得到保证，从而减少大量人工报表工作量，真正达到为基层人员减负的目标。（2）持续提升了信息系统数据质量，推进了信息系统实用化水平，为建成“一体化、智能化、精细化、互动化”安全高效的信息化体系更进一步。

对数据的要求随客户服务、管理精细化和监管要求不断提高，搭建数据质量管理平台能有效解决当前电力企业存在的数据质量问题，最终实现电力企业达到国内领先、国际一流的目标。在数据管理方面，建立体系化的数据治理框架，从根源解决数据质量管理的问题。

本文作者：郑芒英工作单位：广东电网公司