今日推荐
热点排行
小数据的大价值
发布时间：1970-01-01 作者：派智库 来源：调查研究报告 浏览：次【字体： 大 中 小】
style="width:100%">
摘要：当前人们对于小数据的认识还很不一致。严格来说，小数据应该是描述并管理大数据的数据属性的数据。具体包括三种类型：关于大数据的数据属性的数据；描述大数据中所包含的主体、客体的基本特征的管理数据；描述大数据中的行为、过程等的数据。从技术上讲，这些小数据又可以归纳为元数据和主数据两类。当前，元数据和主数据都已经建立了比较成熟的国际标准和规范，因此小数据具备成熟的技术基础。小数据不仅是数据管理体系的核心内容，也是大数据产业发展的基础保障。近年来我国大数据产业发展迅速，但日益面临数据管理体系缺乏的瓶颈和制约。当前尤其要加强小数据管理体系建设，尽早建立完善国家数据管理体系，为我国大数据产业健康发展奠定坚实基础。
dedecms.com
关键词：大数据，小数据，元数据，主数据，数据管理体系
一、小数据：背景、概念
大数据俨然是当下一个热得发烫的概念。自从2012年美国政府发布《大数据研究和发展计划》之后，大数据就开始受到世界各主要国家的高度重视。一些国家和地区都先后发布了有关大数据发展的战略和规划。例如，欧盟委员会先后于2014年、2017年发布了《数据驱动经济战略》和《打造欧洲数据经济》报告，强调大数据是经济增长、就业和社会进步的重要资源。我国也加快了大数据的发展步伐，近年来中央、地方陆续出台了160多份大数据相关政策文件，20个省级单位设立了大数据专门机构①。近年来，我国大数据产业发展迅速、规模日益庞大，2015年、2016年、2017年分别达到2800、3600、4700亿元②。在这种情况下，人们自然就会问：那么，小数据又在哪里？小数据究竟又有什么价值？
遗憾的是，尽管人们这么好奇小数据，但却不知道小数据到底是什么，至今也没对小数据形成一个统一权威的定义。从现有的材料来看，人们对于小数据的说法是多种多样的：一是认为，小数据泛指零星的弱信号，往往被当作没有规范、看似随机的偏差或噪音；二是认为结构化的采样数据就是小数据；三是认为小数据是指信息项目和数据规模较小的数据库③；等等。根据这些说法，我们发现人们对于小数据的属性界定是根本不同的：第一种说法将小数据看作是小概率事件的数据，第二种说法从数据结构类型去认识小数据，第三种说法则简单地从数据量的多少去界定，显然是太不着边际了。由此可见，目前人们对于小数据的认识和理解还是很混乱的。
内容来自dedecms
不过，在正式厘清小数据的概念之前，有必要明确以下三个基本问题：
1.人们采集、加工处理海量数据，通常都是某种具有特定目的的理性行为。因此，尽管大数据的容量很大、涉及的对象很多，但是人们通常会根据业务类型对这些海量数据进行分类处理。
2.要体现出某种价值，“数据”本身必须能够表述一个完整的“信息”。无论是大数据中的“数据”还是小数据中的“数据”，都只是一个抽象的概念。单个的数据本身无法反映什么内容，必须是若干条“数据”综合在一起去反映某种“信息”④。而且，从逻辑来看，通常存在着如图1所示的层次递进关系(图1也被称为DIKW模型)。
资料来源：笔者根据相关材料整理。
3.一条完整的信息应该包含一个明确的主体、客体和行为。通常情况下，主体和客体一般都与具体的现实对象(实体)关联在一起。
图1 数据、信息、知识与智慧之间的关系
上述的三个基本问题，为我们界定小数据的内涵提供了基本思路，我们可以据此去明确那些界定小数据的基本属性：
织梦内容管理系统
1.小数据应该与数据容量无关。我们不应该说20KB的数据才是小数据，而20MB的则不是小数据。
2.小数据自身应该包含特定意义。与大数据中的那些不能反映趋势性价值判断的零星数据不同，小数据应该是那些自身包含特定意义的数据，特别是能够反应大数据的某种基本属性。
3.小数据应该是一种结构化数据。从前面两条原则，可以确定小数据应该就是一种结构化数据。小数据的最大价值应该是既界定其他结构化数据的属性及结构，同时也应该能够被用于界定部分非结构化的数据。
4.小数据应该是对于大数据(无论是结构化的还是非结构化的)的数据之间关系的宏观描述。“以小博大”(或者说“统筹大数据”)应该是小数据之于大数据的价值所在。这包含两个方面的内容：
一是对于大数据的基本属性的描述。具体又包括两个方面，一方面是对于特定业务类型的大数据的属性描述，另一方面是大数据中的主体行为特征的描述。
二是对于大数据中所包含的主体、客体的基本特征的管理数据。
5.小数据与大数据形影相随。与大数据相比，小数据的4V(volume、velocity、variety、value)发生了不少变化：小数据的数据容量(volume)肯定无法和大数据相比，数据类型(variety)以结构化数据为主；与大数据的时刻变化(velocity)相比，小数据的属性相对稳定；就等容量的数据而言，小数据的价值(value)要比大数据的大得多且明确得多。
上述5个方面初步概括了小数据的基本内涵及其与大数据的关系。根据这些界定，我们可以据此尝试为小数据进行一次具体的定义：所谓小数据就是描述并管理大数据的数据属性的数据。基于上述分析，我们可以根据这个定义划分三类小数据(如图2所示)。
织梦好，好织梦
图2 小数据的分类
第一类：关于特定类型的大数据的数据属性的数据。其中的“数据属性”的“属性”，是包含该数据库的定义、结构、类型、操作、管理等各个方面内容的一般化的描述。
第二类：描述大数据中所包含的主体、客体的基本特征的管理数据。这包括两个方面的内容，一是对于大数据中所包含的主体、客体的一般属性的规定；二是满足某类主(客)体属性的所有对象。
第三类：描述大数据中的行为、过程等的数据。这类数据主要是从海量数据中概括、分析、提取的某种“行业知识”、业务框架和发展模型。这是对于行业业务内容的描述分析。
二、小数据与元数据、主数据
根据上述有关小数据类型的分析，我们发现，小数据本身并不是什么新创的数据类型，而应该是对于大数据中一些特定数据的概括、总结和归类。而且，这些特定的小数据类型都可以应用现有的专业数据语言(例如元数据、主数据等)去表述。实际上，第一、三类小数据都可以被称为某种元数据；第二类的第一个方面也是一种元数据；而第二类的第二个方面则应该被称为某种主数据(如图3所示)。无论是元数据还是主数据管理，都是在数据库处理领域得到广泛应用的基础性技术。因此，认识和理解元数据和主数据，有助于我们正确地认识和深刻地理解小数据的科学内涵及其本质特征。
copyright dedecms
图3 小数据分类与元数据、小数据
(一)元数据与元数据管理
本文来自织梦
“元数据”最初是指网络资源的描述数据，后来逐步扩展到各种用于描述电子化信息资源属性的数据。目前，“元数据”这一术语广泛地应用于各类信息资源的描述记录。
元数据通常被定义为数据的数据，是用于描述某种数据资源的基本信息的结构化数据。具体地来说，元数据是有关一个企业所使用的物理数据、技术和业务流程、数据规则和约束、以及数据的物理与逻辑结构的信息⑤，其目的在于：识别资源，评价资源，追踪资源在使用过程中的变化，实现简单高效地管理大量网络化数据，实现信息资源的有效发现、查找、一体化组织与管理⑥。元数据主要包括以下16个潜在主题领域(如表1所示)和四种类型(如表2所示)，涵盖信息系统建设的几乎各个方面。
表1 元数据可能包含的潜在主题领域
本文来自织梦
|
编号 |
主题领域 本文来自织梦 |
内容描述 本文来自织梦 |
编号 |
主题领域 |
内容描述 织梦好，好织梦 |
|
1 dedecms.com |
业务分析 |
数据定义、报表、用户、使用方法和绩效 dedecms.com |
9 |
信息技术架构 copyright dedecms |
平台、网络、配置和许可证 dedecms.com |
|
2 织梦好，好织梦 |
业务架构 内容来自dedecms |
角色和组织、目的和目标 |
10 |
逻辑数据模型 copyright dedecms |
实体、属性、关系和规则、业务名称和定义 dedecms.com |
|
3 织梦内容管理系统 |
业务定义 |
有关组织中的一个特定的概念、事实或其他事物的业务术语和解释 copyright dedecms |
11 dedecms.com |
物理数据模型 |
文件、表、列、视图、业务定义、索引使用、性能、变更管理 织梦内容管理系统 |
|
4 本文来自织梦 |
业务规则 |
标准计算公司和衍生方法 |
12 本文来自织梦 |
流程模型 内容来自dedecms |
职能、活动、角色、输入、输出、工作流、业务规则、定时、存储 dedecms.com |
|
5 copyright dedecms |
数据治理 |
政策、标准、程序、项目、角色、组织和管理职责安排 织梦好，好织梦 |
13 织梦好，好织梦 |
系统群和IT治理 织梦内容管理系统 |
数据库、应用程序、项目和计划、整合路线图、变更管理 |
|
6 copyright dedecms |
数据整合 copyright dedecms |
数据源、数据目标、数据转换规则、数据血缘关系、ETL工作流、EAI、EII、迁移和变换 dedecms.com |
14 织梦内容管理系统 |
面向服务架构(SOA)信息 |
组件、服务、消息、主数据 dedecms.com |
|
7 内容来自dedecms |
数据质量 |
缺陷、度量和评级 |
15 |
系统设计和开发 |
需求、设计、测试计划、影响 |
|
8 copyright dedecms |
文档内容管理 内容来自dedecms |
非结构化数据、文档、术语分类、本体、命名集合、法律发现、搜索引擎索引 织梦好，好织梦 |
16 |
系统管理 |
数据安全、许可证、配置、可靠性、服务水平 |
注：笔者根据以下资料整理：DAMA International著，马欢等译，《DAMA数据管理知识体系指南》，清华大学出版社，2012年7月第一版。
表2 元数据类型、属性与内容
|
元数据类型 织梦内容管理系统 |
属性与内容 |
|
业务元数据 |
主题和概念领域、实体及属性的业务名称和业务定义，属性的数据类型和其他特性，范围描述，计算公式，算法和业务规则，以及有效值域及其定义 |
|
技术与操作元数据 copyright dedecms |
技术元数据包括物理数据库表名和字段名、字段属性、其他数据库对象的属性和数据存储特性；操作元数据主要用于满足IT运维用户的需求，包括数据迁移信息、数据源和目标系统信息、批处理程序、任务频率、调度异常处理、备份与恢复信息、归档规则和使用等信息 |
|
流程元数据 织梦内容管理系统 |
定义和描述系统的其他元素(如流程、业务规则、程序、任务、工具等)的特性的数据 |
|
数据管理制度元数据 |
关于数据管理专员、监管制度流程和责任分配的数据 织梦内容管理系统 |
注：笔者根据以下资料整理：DAMA International著，马欢等译，《DAMA数据管理知识体系指南》，清华大学出版社，2012年7月第一版。
面对种类繁多的元数据，需要实施有效的元数据管理。为此需要建立合理的元数据战略，并通过开展一系列的元数据管理活动贯彻实施该战略。这些元数据管理活动主要包括理解元数据需求、定义元数据架构、开发和维护元数据标准、构建合理的元数据评估标准等。此外，针对业务元数据构建各种本体，有利于加强元数据管理效能；构建合理的元数据管理成熟度模型，有利于促进元数据管理的持续深入的展开⑦。
(二)主数据⑧与主数据管理
当前，主数据已经被越来越多的IT企业应用于其数据管理产品或解决方案中，但是尽管如此，人们对主数据仍然缺乏一个权威的定义。IBM公司发布的有关主数据管理的红皮书《Master Data Manangement：Rapid Deployment Package for MDM》认为，所谓主数据是有关客户、供应商、产品和账户的企业关键信息；有人将主数据定义为“表示‘跟踪事物状态’的数据”；也有人认为，企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等，它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中；等等。国际数据管理协会(DAMA)认为，主数据是关于关键业务实体的权威的、最准确的数据，可用于建立交易数据的关联环境⑨。
dedecms.com
这些定义分别从各自不同角度对主数据进行了界定，我们根据这些不同定义做一个比较全面的概括：所谓主数据是指满足跨部门业务协同需要的、反映核心业务实体状态属性的企业(组织机构)的基础信息。就企业数据管理来讲，主数据主要涉及四大主题领域：当事人主数据、财务主数据、产品主数据、位置主数据⑩。
内容来自dedecms
综合主数据的各种概念，我们构建一个业务信息系统中有关主数据与其他各类数据之间的逻辑关系(如图4所示)。在图3中，“业务数据”被分解为“主数据”和“交易数据”。在这里，所谓业务数据，是指业务实体完成一项具体行为过程的完整的数据；所谓的交易数据，是业务实体基于业务行为规则而发生的具体行为过程数据。对于业务数据而言，主数据是相对不变的，而交易数据是每次都会变化的。
图4 主数据与其他数据之间的关系
由于主数据涉及众多主数据的产生与应用部门，因此为了协调和管理与核心业务实体相关的系统记录和系统登录中的数据和元数据，需要加强主数据管理，为此需要构建一整套用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。
织梦内容管理系统
(三)大数据中的元数据、主数据
织梦好，好织梦
元数据和主数据之间有着密切的关系。从概念和逻辑上讲，主数据(结构)属于元数据的一个子集，是一种特定类型的元数据。但是，从产品上讲，主数据和元数据是两个完全不同的概念：元数据是指表示数据的经过抽象的相关信息，比如数据定义等；而主数据是指实例数据，比如产品目录信息等。由于主数据对于业务系统建设具有独特地位，因而人们往往将其独立出来并单独建设、维护，例如客户关系管理系统(CRM)等。另外，无论是主数据还是元数据，都不是系统自行产生的数据，而是在规划建设信息系统时、从加强业务系统管理角度出发所构建的数据(库)。
就常规的大数据信息系统建设而言，小数据(元数据、小数据)为我们认识大数据的核心属性提供了一种有效手段。虽然大数据容量可能很大，但经过初步分析，我们仍然可以从中挖掘、提炼出相关的小数据(元数据、主数据)来。反过来说，小数据虽然数据容量较小，但人们却可以通过小数据去认识大数据系统中的海量数据的基本特征。
三、充分发挥小数据对于大数据产业发展的重要作用
当前，以元数据、主数据为主要内容的小数据仍然没有受到人们的重视，小数据对大数据产业发展所具有的积极作用没有得到应有的发挥、体现。为此，今后应该采取以下措施：
首先，加强研究，深化认识。
人们对于小数据尚缺乏深入研究和深刻认识，今后应该将小数据作为数据科学的重要内容，从数据属性、知识管理、数据架构等方面对小数据进行专题研究。从促进大数据产业发展来看，当前有必要基于元数据和主数据去深化小数据的科学属性的认识。
copyright dedecms
其次，加强宣传普及，消除认识误区。
织梦好，好织梦
近年来，大数据产业的爆发式增长掩盖了人们对于传统数据库技术特别是结构化数据管理的关注，并给人造成一种假象，认为大数据技术本身就可以解决数据处理的一切问题。这种错误的假象也使得人们在认识小数据方面出现了上述诸多的混乱。实际上，尽管非结构化数据在大数据发展中占据日益重要的分量，但是作为结构化数据(的产物)，元数据和主数据对于日益增长的大数据仍然发挥重要的作用，在大数据系统建设中仍然占据重要地位。
元数据和主数据要远比其他所谓的大数据的属性(如小概率事件、随机偏差、噪音或小容量数据等)更加科学、合理，也有助于人们深刻认识大数据的基本特征。从技术上讲，从ISO8000以及DAMA数据管理知识体系的构建来看，元数据和主数据都占据最重要的位置；而从有关大数据处理系统如Hadoop等的架构设计来看，建立数据来源的元数据、通过数据清洗等流程保障大数据质量，仍然是必不可少的⑾。
为此，为消除人们的认识假象，今后应该在有关大数据产业发展的政策文件、论坛活动等方面，突出小数据发展议题；在大数据产业发展政策、规划和重要的信息系统建设中设立小数据发展专项。
第三，基于小数据建立完善我国的数据管理体系，促进我国大数据产业健康发展。
近年来我国各级政府发布了大量促进大数据产业发展的政策文件。但是，这些政策文件着力解决的是如何促进大数据产业发展，而对如何构建数据管理体系着墨不多。由于没有建立完善的数据管理体系，我国大数据产业普遍存在着数据质量不高、价值无法得到高效发挥等诸多问题。随着我国大数据产业的深入发展，这些问题势必不断加剧并严重阻碍我国大数据产业的健康发展。因此，建立和完善国家数据管理体系迫在眉睫。
根据《DAMA数据管理知识体系指南》，数据管理体系主要包括数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理等十个数据管理职能，其中元数据和主数据都各自成为一个独立的组成部分，可见小数据对于数据管理体系建设的极端重要性。
建立和完善数据管理体系，是保障我国大数据产业健康发展的基础条件。但是，这也是一项长期艰巨的任务。从工作需要出发，当前应该基于元数据和主数据管理的理论和方法，构建我国电子政务领域的小数据管理体系。具体工作包括：应用元数据(本体)管理的理论方法，从法律法规和我国行政管理实践出发，构建我国的(电子)政务管理知识体系；应用主数据管理的理论方法，构建我国的自然资源、微观与宏观经济运行管理的基础数据资源管理体系，特别是要以主数据管理理论和方法，规范和完善我国电子政务基础数据库建设。
本文来自织梦
注释：
①相关数据引自工信部信息化与软件服务业司副司长李冠宇于2018年6月27日在江苏省经济和信息化委员会主办的江苏省大数据和新一代软件产业发展推进会上的发言。资料来源：http://222.177.237.213:8000/rwt/GUOYAN/http/MJVXP3DBPSRT64DWMFYHC4LWF3SX85B/information/2018-06/12356490.html。
②资料来源：中国信息通信研究院，《大数据白皮书(2018年)》。
本文来自织梦
③关于这种说法，网易科技2017年10月19日所刊登的一篇“‘大数据’这词不火了是不是因为没当年说的那么好”的文章就认为，小数据是指简单到可以直接由人来分析和解读、不需要求助于超级计算机或者Hadoop作业的数据集。资料来源：http://222.177.237.213:8000/rwt/GUOYAN/http/PSTXG4BPGE5DGLUDN7XB/17/1019/07/D13GJPSS00097U7T.html。
④这分两种情况：一种是某数据与其他类型数据组合在一起表达某个具体含义(信息)；二种是众多的某类数据经过一定的算法处理后，可以揭示某种具体的问题。
织梦内容管理系统
⑤DAMA International著，马欢等译，《DAMA数据管理知识体系指南》，清华大学出版社，2012年7月第一版。
⑥摘自《GB/T 19488.1电子政务数据元第1部分：设计和管理规范》。
⑦本文有关元数据管理的观点，综合参考了《DAMA数据管理知识体系指南》和IBM公司有关元数据产品的相关论述。
织梦内容管理系统
⑧《DAMA数据管理知识体系指南》将参考数据与主数据放在一起讨论，限于篇幅本文主要讨论主数据。
⑨DAMA International著，马欢等译，《DAMA数据管理知识体系指南》，清华大学出版社，2012年7月第一版。
dedecms.com
⑩DAMA International著，马欢等译，《DAMA数据管理知识体系指南》，清华大学出版社，2012年7月第一版。
本文来自织梦
⑾DAMA International, DAMA-DMBOK: DATA MANAGEMET BODY OF KNOWLEDGE(SECOND EDITION), Technics Publications, 2017. 织梦内容管理系统