Top
首页 > 正文

中国评测:以评促治、以评提质 ——数据治理及数据质量评估思考与探索

数据治理和数据质量管理遵循有数据、有好数据、管好用好数据的基本思路。
发布时间:2020-06-03 09:36        来源:中国软件评测中心        作者:吴志刚 易倩 王芳

一、数据是数字经济时代的新型生产要素

数字经济时代,数据作为一种新型生产要素,同其他要素一起融入经济价值创造过程中,对生产力发展具有广泛影响。充分发挥数据要素对其他要素效率的倍增作用,培育发展数据要素市场,对推动经济高质量发展意义重大。

回顾历史,随着信息化发展的演进,数据在各阶段的作用各有不同。第一阶段:信息时代(IT时代)——数据描绘现实。这一阶段以单机应用为主要特征,数字化办公和计算机信息管理系统逐步取代纯手工处理。数据治理的主要内容聚焦于纸质信息的电子化和部分业务在线化处理,数据治理工作相对简单。第二阶段:网络时代(IT+时代)——数据改变现实。这一阶段以联网应用为主要特征,互联网快速发展及延伸,加速了数据的流通与汇聚,数据呈现出海量、多样、时效、低价值密度等一系列特征。这个时代数据的增长量显著提升,数据多样性凸显,为数据治理带来了困难和挑战。第三阶段:数据时代(DT时代)——数据驱动现实。这一阶段以数据的深度挖掘和融合应用为主要特征,数据不断产生、计算、分析、应用、迭代,成为网络空间不停流动的血液和知识经济的原材料,更成为继物质、能源之后的又一种重要生产要素和战略资源。这个时代,数据成为驱动服务管理、提升决策能力的重要力量,从而数据质量、数据安全、数据管理能力等至关重要。围绕提升数据质量,释放数据价值的数据治理,成为重要任务。

1
图1.1 信息化发展演进过程
资料来源:中国软件评测中心

同样的,伴随着信息化的发展,围绕着数据相关基础设施和技术体系也在发生变化,数据治理相关技术与应用是当前信息技术发展的重点。第一阶段主要围绕着基础设施建设,聚焦于大数据基础技术和系统的构建。第二阶段主要围绕着关键技术攻关,聚焦于大数据分析方法和算法的提升。第三阶段主要围绕着产业实践与实施,聚焦于大数据在各行业领域的应用。第四阶段主要围绕数据资源管理与安全,为发挥基础设施、数据的作用和价值,有力支撑技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务,本阶段主要聚焦于数据管理、数据安全与隐私保护、数据共享开放机制等数据治理相关技术。

在数据时代,加强数据治理,构建一个综合治理体系,实现多方参与,多维共治,推动数据价值充分释放,是推动数字经济发展、国家治理体系和治理能力现代化的重要工作。

二、数据治理统领数据管理各项活动

从世界上第一台计算机出现开始到20世纪80年代,数据被特定的机构管理并重点应用于国防、气象、科技探索等领域,这一阶段数据主要停留在“内部管理”阶段,注重根据已有规章制度、战略决策以及机构设置,对数据进行管理,以便于记录和支撑业务工作开展。

随着信息化的发展,数据的作用发生巨大改变,数据也从单纯的内部管理变为需要“综合治理”的重要生产要素。习近平总书记曾讲过,“治理和管理一字之差,体现的是系统治理、依法治理、源头治理、综合施策”。数据从内部管理向综合治理演变,充分体现了数据对社会经济生活的作用更加重要、人们对数据的认识不断深化、数据要素的地位不断提升。数据治理是一种顶层设计,是决策层面的综合把控,是对数据管理的管理,重点解决数据管理的规章制度制定、数据管理工作的决策部署以及数据管理组织机构设置等问题,是一个多方参与,多维共治的过程。关于数据治理,笔者认为有一下几个关键点:

第一,数据治理处于数据管理的核心地位,贯彻和辐射到数据管理的各个功能域。参考国际数据管理协会(DAMA)框架,数据治理作为统领10个数据管理功能域的核心纽带,有效指导数据管理各功能域推进各项工作。在DAMA-DMBOK2中,强调将数据治理融入系统设计和开发过程中,让数据治理成为保证系统质量和数据质量的有力保障,贯彻到系统建设全过程。数据治理不能只关注某个方面或某个环节,要通过构建一套治理体系把各方面有机串联起来,才能推动数据高质量发展,有效释放数据价值。

2
图1.2 数据治理的核心地位

资料来源:中国软件评测中心根据DAMA-DMBOK2整理

第二,保证数据质量是实现各业务融合的关键,也是释放数据资源价值的关键。推动数据质量持续提升,促进高质量数据不断丰富,是提升经济的韧性和发展的重要途径。当前数据质量面临严重问题,数据完备性不足,冷数据、死数据偏多,数据开放共享动力不足,大量数据重复录入,这些问题给业务应用融合造成很大成本投入。所以要进行数据质量管理,对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里会产生的各类数据质量问题,进行识别、度量、监控、预警。

第三,数据标准化程度不高以及数据权威性不够,大大降低数据使用效率。数据标准化程度不高导致数据接口不一致,需要对数据语义进行重复解释,造成对数据多次翻译,大大降低了数据使用效果。数据权威性不够使得数据汇聚集中后,没有明确主数据和参考数据,难以决定以谁的数据为准。因此,在标准分类规划的基础上需要制定相应的数据标准,定义数据标准相关规则。

三、评估是促进数据治理成效、提升数据质量的有效手段

数据治理评估是指按照相关标准和原则,对各个组织和机构的治理能力以及数据质量管理进行一个全面诊断、查找问题、提出整改方案,从而提升数据治理能力和数据质量。以下笔者推荐两套数据治理及数据质量的评估模型:

(一)数据管理能力成熟度评估模型

2018年,国家质量监督检验检疫总局、中国国家标准化管理委员会发布国家标准《数据管理能力成熟度评估模型(DCMM)》(GB/T36073—2018),是全国第一个数据管理领域标准,在工业和信息化部的指导下,由中国电子信息行业联合会积极宣贯应用,旨在帮助组织更好地理解和评价目前数据管理的现状,制定更加切合实际的发展路线。DCMM模型定义了包含数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期8个能力域的评估模型,并依托模型,对组织和机构数据管理能力成熟度等级进行界定,为企业数据管理能力建设与提升提供了基本遵循。

3
图1.3 DCMM评估模型主要内容
资料来源:中国软件评测中心根据网络公开信息整理

DCMM将数据管理能力成熟度划分为五个等级,包括初始级、受管理级、稳健级、量化管理级、优化级,显示数据管理成熟度是个逐步递增、逐步升级、逐步成长的过程,需要组织不断进行调整优化。其中,初始级的特点为,数据管理主要在项目级体现,且缺乏统一管理流程;受管理级的特点为,组织已经意识到数据是资产,并制定了管理流程;稳健级的特点为,数据已被当作实现组织绩效目标的重要资产,并在组织层面制定了标准化管理流程;量化管理级的特点为,数据被认为是获取竞争优势的重要资源,且数据管理的效率能做到量化分析和监控;优化级的特点为,数据已成为组织生存和发展的基础,且相关管理流程能实现优化。

4
图1.4 DCMM评估模型成熟度等级

资料来源:中国软件评测中心根据网络公开信息整理

从DCMM的能力域中,我们看到,数据治理和数据质量是重要的两个能力域,直接影响着企业或组织的数据管理能力。各企业或组织要将数据治理以及数据质量站在企业或组织治理的视角来统筹谋划,一把手抓总、明确牵头部门、企业全员参与,形成共建共享共治的数据管理氛围和格局。

(二)  CSTC的数据质量评估模型

数据质量问题虽然表现在数据资源本身,但却是由多种因素决定的,基础支撑、管理保障对数据质量都产生关键的影响。基于此,中国软件评测中心提炼出制约数据质量的三要素,包括基础支撑、数据资源、管理保障,形成了CSTC的数据质量评估模型,见图1.5。

5
图1.5 CSTC评估模型

其中,基础支撑是确保数据资源能被标准化、规范化、集约化管理和应用的基础,包括平台支撑、目录体系、标准体系、管控体系建设情况等评价内容。数据资源是衡量数据资源本身质量以及可利用价值的关键,包括数据准确性、完整性、及时性、有效性等评价内容。管理保障是保障数据资源质量的根源,只有建立有序的管理体系,才能确保数据采集、存储、加工、应用等各个阶段质量。管理保障包括组织保障、政策保障、人员保障、评价监督情况等评价内容,确保规范后的数据能够被有效利用,充分释放数据的价值。

数据治理和数据质量管理遵循有数据、有好数据、管好用好数据的基本思路。管好用好数据是核心,也是加快培育数据要素市场,释放数字经济红利的关键。在数据治理的实践中,还须将数据资源在社会治理、公共服务、经济发展等领域的应用成效作为衡量国家、地区、组织机构数据治理成效的标尺,形成“以应用为牵引、以数据为驱动、以数据治理为支撑”的良性互动,构建“大数据、大家干、数据红利、共分享”的数据治理新格局。

文章作者:吴志刚

中国软件评测中心副主任兼赛迪智库信息化与软件研究所所长,全国审计信息化标准化技术委员会副主任委员,曾担任国家电子政务标准化总体组秘书长、全国信息安全标准化技术委员会副秘书长。2017年2月至2019年2月,曾挂职贵州省大数据产业发展中心(贵州省信息中心),担任副主任。30多年来,致力于信息化标准、数据治理、电子政务、智慧城市、信息处理产品标准符合性检测技术、信息安全、电子数据交换、电子商务等相关理论研究与实践探索。

专题访谈

合作站点
stat