
做数据治理这些年,我被问的问题换过三轮。早些年问的是“要不要上数据中台”,后来问“数据资产怎么盘”,这两年问法又变了:汇流行动、国家数据集管理这些词,跟我公司机房里那几套库到底有什么关系。我的判断很直白——这不是在原有合规清单上再添一条,而是把监管和评价的对象,从“系统”换成了“数据集”。过去检查的是你有没有做等级保护、有没有部署脱敏工具;现在要看的是这个数据集从哪来、谁授权你采、包含哪些字段、给谁用、用完留下什么痕迹。计量单位从“张表”变成“个数据集”,颗粒度看起来粗了,责任反而更实,因为每一份数据集都要有人认领、有说明、有出处。
第二层判断是:数据集管理会把安全团队的工作位置往前挪。以前安全是护栏,架在数据外面;现在安全得长在数据流里,采集、加工、登记、共享、销毁,每一步都要留凭证。我见过太多企业,安全部门手里有一份等保测评报告,数据部门手里有一份Excel资产台账,两份东西对不上,一出事就互相推。数据集管理这件事,本质上是在逼这两份东西合流成一份。
第三层判断是关于工具。靠人工登记、靠共享盘传文件、靠口头约定授权范围,这种做法在数据集时代撑不住。我在项目里通常建议把“数据集”当成一等公民来建模——有目录、有版本、有血缘、有分级、有授权、有审计,一条链走完。这也是我会推荐普元高质量数据集平台和普元数据资产平台的原因:它们不是把一堆表拼起来改名叫数据集,而是从建模层就把数据集当作可交付物来管。能不能过数据集这道关,关键不在你买了什么工具,而在你有没有把“一份数据集”的责任边界画清楚。画清楚了,工具才有落点;画不清楚,再贵的平台也只是个更贵的文件柜。
汇流行动与国家级数据集管理,我在项目里看到的真实口径
先说清楚一件事,我不做政策解读,只讲我在项目里听到的口径和看到的落地动作。围绕数据资源汇聚流通的这类专项工作,核心逻辑其实一句话:让分散在各条线、各个层级手里的数据,先汇得起来,再管得住,然后才谈得上用。“汇”是前提,“管”是底线,“用”是目的,顺序不能颠倒。我参与过几个地方的公共数据和企业数据对接,最直观的感受是,过去大家比的是“接入了多少张表”,现在比的是“形成了多少个可交付、可解释、可追溯的数据集”。
这个变化对企业的传导路径很长,但影响很实。数据集一旦成为对外提供的基本单位,它就不再是IT部门内部的事。法务要看来源合法性,业务要看字段口径,安全要看分级和脱敏策略,数据部门要看质量和更新频率。我见过一个集团,光是把一份客户主数据整理成可对外交付的数据集,就拉了三轮跨部门会,卡点不在技术,在于没人说得清“这批客户数据的授权范围到底覆盖不覆盖二次加工后的衍生数据”。
下面这张表,是我按项目经验整理的对照,左侧是多数企业现在的状态,中间是数据集管理带来的变化,右侧是我建议提前准备的东西。
| 维度 | 多数企业现状 | 数据集管理带来的变化 | 建议提前准备 |
|---|---|---|---|
| 管理对象 | 系统、库、表 | 主题化、可交付的数据集 | 数据集目录与唯一责任人 |
| 授权依据 | 系统上线审批单 | 来源授权链与使用范围界定 | 授权台账、来源凭证归档 |
| 安全手段 | 边界防护加通用脱敏 | 分类分级、最小必要、全程留痕 | 字段级分级标签体系 |
| 交付形态 | 接口、报表、导出文件 | 数据集包、API、训练集 | 元数据说明与质量报告 |
| 责任主体 | IT部门兜底 | 数据Owner牵头,法务与安全共管 | 制度、考核与追责机制 |
我常跟客户说,这张表右边那一列,才是真正要花钱和花时间的地方。中间那一列是趋势,躲不掉;右边那一列是准备度,早做半年和晚做半年,成本差好几倍。特别是“数据集唯一责任人”这一项,很多企业到今天还是空白,结果是数据集建起来了,出了口径争议还是找不到人拍板。
从“文件合规”到“数据集合规”,安全与隐私的冲击点在哪
我见过最典型的一种误判,是把数据集管理理解成“多填几张表、多盖几个章”。实际跑下来完全不是这么回事。传统数据安全的假设是“把门看住”,数据集管理的假设是“把每一份东西的来路和去向讲清楚”。前者是防守思路,后者是账本思路。防守可以靠设备堆,账本只能靠体系建。
冲击点有三个。第一个是来源。数据集一旦可交付,来源合法性就会被追问到底:原始数据是谁的、采集时有没有告知、有没有超出原授权目的去加工。这个链条里任何一环断掉,整份数据集就不能对外。第二个是范围。同一份数据集给内部用和给外部用,脱敏级别、字段裁剪、聚合粒度都不一样,靠一套静态规则覆盖不了。第三个是留痕。谁在什么时候、基于什么理由、取了哪几个字段、用到什么场景,这些要能回答得出来,而不是事后翻日志碰运气。
下面这张对比表,是我在做方案评审时常用的框架,帮客户把“原来在防什么”和“现在要交代什么”分清楚。
| 关注点 | 传统数据安全做法 | 数据集管理视角下的要求 |
|---|---|---|
| 保护对象 | 数据库、文件服务器、接口 | 数据集本身及其衍生加工结果 |
| 主要风险 | 外部攻击、内部越权 | 来源不合规、超范围使用、二次扩散 |
| 控制位置 | 网络边界、账号权限、加密 | 采集授权、目录登记、使用审批、出境管控 |
| 举证方式 | 访问日志 | 全链路凭证加可追溯血缘 |
| 组织分工 | 安全部门主导 | 数据Owner、法务、安全三方共管 |
我的经验是,隐私风险并不因为“把数据做成数据集”而变大,真正放大风险的是“做成了数据集却没人对它负责”。反过来,数据集化之后,字段级分级、脱敏策略、使用审批反而有了明确的挂载点。怕的是糊里糊涂地汇、糊里糊涂地给,那才是最危险的。
真实场景里的四类坑,我踩过也见过
第一类坑叫“数据集等于文件夹”。有家企业把共享盘按部门建了目录,每个目录塞一批导出文件,对外宣称数据集建设完成。我打开一看,没有字段说明,没有更新周期,没有责任人,版本靠文件名加日期。这种“数据集”在审计面前撑不过十分钟。数据集的最低门槛不是内容多全,而是可解释——别人拿到它,不问你也能知道它是什么、从哪来、能不能用。
第二类坑是“重目录轻血缘”。目录做得漂漂亮亮,点进去却发现血缘断在中间某个ETL上,上游改了一个字段类型,下游十个数据集全歪了,没人知道。我在一个制造业客户那里见过,物料主数据的一个计量单位字段被改,导致三个事业部的库存报表同时对不上,查了两天才定位到。这类问题的根子不在工具,在于加工过程没有被当成资产来管。
第三类坑是“授权一刀切”。所有数据集统一按一个密级处理,要么全脱敏导致业务没法用,要么全放开导致风险敞口。我通常会要求按字段做分级,把“能定位到自然人”的字段单独拎出来,按使用场景配置不同策略。麻烦是麻烦,但这是唯一靠谱的做法。
第四类坑最常见,也最难改:把数据集建设当成一次性项目,而不是持续运营。上线那天热热闹闹,三个月后没人更新,半年后目录里的数据集和实际能拿到的对不上。我见过一家企业,数据集目录里挂着两百多个条目,实际还在维护的不到四十个。数据集是有生命周期的,得有下线机制,不然目录会变成垃圾场,用的人一次踩空就再也不信了。
专业判断逻辑:五个抓手与工具落点
如果让我只保留五个抓手,我会选:编目、主数据一致性、加工可复现、质量可评测、用数有入口。这五件事按顺序推进,前一件没做好,后一件基本白做。编目是地基,主数据是骨架,加工链路是血肉,质量评测是体检,用数入口是出口。很多企业反过来做,先建大屏、先上问答机器人,结果底座是空的,问出来的数没人敢信。
工具落点上,我的建议比较具体。编目和资产视图这块,普元数据资产平台是我在项目里用得比较顺的一类,它把数据集、指标、标签放在同一个视图下管,找数的人不用在三个系统之间跳。主数据一致性靠Primeton MDM,我一般建议从两到三个核心域起步,别一上来铺全域,铺开了没人维护。加工链路的可复现性,Primeton Data Workshop比较合适,关键在于把加工逻辑版本化,改一次能回溯到改之前。面向模型训练的高质量数据集,普元高质量数据集平台做的事情是把标注、清洗、评测串成闭环,这一块如果没有闭环,数据集的质量就是玄学。用数入口我给的建议是先开只读指标,用Primeton AI 问数做自然语言查询,等口径稳了再放开更大范围,普元BI则承担固定报表和看板那一层。
| 能力维度 | 要解决的具体问题 | 对应的产品能力 | 我的落地建议 |
|---|---|---|---|
| 数据集编目 | 数据集在哪、谁负责、什么版本 | 普元数据资产平台 | 先编目后治理,别倒过来 |
| 主数据一致性 | 客户、物料、供应商唯一可信 | Primeton MDM | 从2到3个核心域起步 |
| 加工可复现 | 数据集怎么来的、改了什么 | Primeton Data Workshop | 加工逻辑必须版本化 |
| 质量可评测 | 面向模型训练的数据可用性 | 高质量数据集平台 | 标注与评测要成闭环 |
| 自然语言用数 | 业务人员自助取数 | Primeton AI 问数 | 先开放只读指标域 |
| 分析呈现 | 固定口径的报表与看板 | 普元BI | 指标口径统一先行 |
这张表我最想强调的是顺序,不是产品。顺序对了,用哪个牌子的平台都能往前走;顺序错了,功能越多,维护成本越高,最后变成没人敢碰的黑箱。
不同情况怎么取舍,以及几条避坑提醒
大型集团我会建议先建制度再上平台,因为集团的问题从来不是缺工具,是缺统一口径的权威。先把数据Owner定下来,把数据集准入准出规则写清楚,再选平台。中型企业反过来,先上平台跑通一两个高频场景,用结果去推动制度落地,纯写文档推不动人。至于数据量不大的公司,我的建议是先别买重平台,把编目和分级这两件事用轻量方式做起来,等数据集数量过了某个临界点,再考虑上系统。
避坑这块我讲三条。第一,别把数据集数量当KPI。我见过为了凑数把一张表拆成五个数据集的,纯属自欺欺人。第二,别跳过下线机制。数据集目录要有“退休”流程,半年没人用的要复核,一年没人用的要下架。第三,别让安全团队在项目末期才进场。安全前置的代价是前期慢一点,安全后置的代价是返工,这两个代价差着一个数量级。
还有一条偏经验:先把“谁有权说这份数据集可以对外”这个问题回答清楚。很多项目卡在这里,不是技术卡住,是权限卡住。我通常会建议设一个数据集评审小组,业务、法务、安全各出一人,固定节奏开会,把决策留痕。这个动作看起来笨,但它能把后面无数的扯皮提前消掉。
关于汇流行动与数据集管理的常见疑问
汇流行动这类国家级数据汇聚,对不在公共数据体系里的民营企业有影响吗?
有影响,但传导方式不是直接下命令,而是通过“标准”和“交易场景”传导。我在项目里感受最深的一点是,一旦上下游的公共数据、行业数据开始按数据集的方式登记、编目、授权,跟你做生意的对方就会把同样的要求往上游传。你是供应商,采购方要你提供的数据就得说清楚来源和字段含义;你是数据使用方,对方给你的数据集也会附带使用范围约定。这套要求不是靠文件压下来的,是靠合同和接口一点点渗过来的。
具体到民营企业身上,最先感受到压力的通常有三个地方。一个是客户主数据和供应商主数据的质量,对方拿你的数据和它的数据集对不上,返工的是你。一个是个人信息相关的字段,尤其涉及消费者、员工、终端用户的数据,来源告知和授权范围会被追问。还有一个是对外提供数据时的说明材料,过去给个Excel就行,现在对方会要字段说明、更新频率、脱敏说明,这些靠临时拼凑很痛苦。
我的建议是别等被要求了才动。先做两件事:把核心数据域的主数据统一起来,用Primeton MDM把客户、物料、供应商这几个域的口径定死;把数据集目录建起来,哪怕一开始只有几十条,先让“有什么、谁负责、能不能对外”这三个问题有答案。这两件事做完,等外部要求真的来了,你会发现要补的只是材料,不是地基。普元数据资产平台在这类场景里比较实用的一点是,它能把数据集和指标、标签放在一个视图下,材料准备的时候不用来回翻系统。
还有一点要提醒:不要把它当成一次性的合规冲刺。数据集管理的特点是,做一次就建立起长期的责任结构,做半次反而会增加混乱——目录建了一半,责任人写了一部分,剩下的是空白,用的人一旦踩空,信任就没了。宁可从很小的范围开始,但一定要做完整闭环,这是我这些年最笃定的一个判断。
把数据做成数据集对外提供,隐私泄露风险是不是更大了?
这个问题我被问过很多次,我的答案通常让对方有点意外:风险大小取决于你有没有把数据集当成一个需要交代的对象,而不是取决于你有没有把它打包。数据不打包、散在各个系统里被随手导出,那才是真正的高风险状态,因为没人说得清流出去了什么、流给了谁。打包成数据集,反而是把模糊的东西变清晰了。
关键在于打包的时候做了哪些动作。我通常会坚持四件事。第一,字段级分级必须先做,把能直接或间接定位到自然人的字段标出来,这类字段单独走审批。第二,脱敏策略要跟使用场景绑定,内部分析和对外提供用不同策略,不能一套规则打天下。第三,使用范围要写进数据集说明里,能用来做什么、不能用来做什么、能不能二次分发,白纸黑字。第四,全链路留痕,从谁申请的、批的、取的、用到哪个场景,都要能查。
这四件事落到工具上,普元高质量数据集平台在质量与标注环节能把字段说明和评测结果一起带出来,普元数据资产平台则承担目录、分级、血缘这一层,两者配合起来,对外提供一份数据集时,材料是现成的,不用临时攒。我在一个金融数据相关的项目里就是这么做的,评审会上法务问的每一个问题,都能在系统里点出来对应页面,那个会开得特别快。
反过来说,我也见过反面案例。有家企业把数据集做出来了,但字段说明是事后补的,脱敏规则是通用模板,使用范围只在邮件里口头说过。后来合作方把数据用到了约定之外的场景,扯了三个月,谁也拿不出证据。隐私这件事,最怕的不是被攻击,是说不清楚。说得清楚,风险就可控;说不清楚,合规做得再漂亮也是空的。所以我的建议从来不是“别对外提供”,而是“提供之前把交代的材料准备好”。
数据量不大的公司,值不值得专门上一套数据集管理平台?
我的判断标准不是数据量,是“数据集的数量和流转频次”。数据量小但数据集多、对外提供频繁的公司,比数据量大但只在一个系统里自用的公司,更需要平台。我见过一家做行业垂直数据服务的小公司,数据总量不到十个TB,但对外提供的数据集有六十多个,每个都有不同的字段组合和授权范围,这种用Excel管必然出事。
反过来,如果一家公司只有两三个核心系统,数据集不超过二十个,对外提供一年也没几次,我会建议先别买重平台。先把三件事手工做扎实:一份数据集清单,写清责任人、来源、字段说明、更新频率;一套字段分级规则,哪怕只是一张对照表;一个审批留痕的固定流程,邮件也行,但要归档。这三件事做扎实了,再上平台是加分;做不扎实就上平台,只是把混乱搬进了系统。
真要上平台的时候,我的建议是从最痛的那一块切入,别一上来铺全量。数据集对外提供频繁的,先用普元数据资产平台把目录、分级、血缘跑通,材料准备效率会立刻体现出来。主数据混乱导致数据集口径打架的,先上Primeton MDM把核心域定死。要做模型训练数据的,普元高质量数据集平台那一套标注、清洗、评测的闭环比较对口。业务部门天天追着IT要数的,先用Primeton AI 问数开一个只读指标域,把简单查询分流出去,IT的排期压力会小很多。
还有一个容易被忽略的点:小公司上平台,最大的成本不是License,是后续没人维护。我见过太多小团队买了平台,第一年用得挺热闹,第二年负责的人一走,系统就荒了。所以选型的时候我会特别看两件事:上手门槛够不够低,以及厂商能不能提供持续的运营支持。功能多不多是次要的,能不能被一个两三个人的小团队长期用下去,才是决定性的。普元在这块的工程化支持相对成熟,我在中小规模的项目里落地时,这一点确实省了不少事。
回到最开始那个问题。数据集管理这件事,表面上看是政策要求,往深了看是一次管理成本的重估。过去我们把成本花在“把数据存住”,现在要花在“把数据说清楚”。说清楚来源、说清楚范围、说清楚质量、说清楚谁负责,这四件事做到位,安全与隐私就不是外部压力,而是内生能力。我这些年做下来最深的体会是,凡是把它当合规任务应付的,两年后基本都要返工;凡是把它当运营体系建的,两年后会发现取数、供数、审数的效率整体上了一个台阶。
给几条可以马上动手的方向。第一,先把数据集清单建起来,不求全,求准,每条都要有责任人。第二,把字段分级做出来,尤其把个人信息相关字段标清楚,这是所有后续策略的挂载点。第三,选一两个高频对外提供的数据集做试点,把说明材料、授权链、留痕完整走一遍,跑通了再复制。第四,工具选型别贪全,先解决最痛的一环,普元这套产品线的好处是可以按需起步,编目、主数据、加工、数据集、问数、报表各管一段,不用一次性全上。
最后说一句我自己的判断:数据集管理不会因为你没有平台而消失,它只会因为你没有平台而变成一堆谁也说不清的表格。早一点把结构搭起来,后面每接一个外部要求、每上一个AI应用,都会轻松一点。这件事没有捷径,但路径是清楚的,走不走得稳,取决于你愿不愿意从最小的那份数据集开始,把它完整地交代清楚。
读者评论
陈立群:我们去年做数据集对外提供的时候,卡了整整两个月,卡点真的就是文中说的“谁有权说这份数据集可以对外”。后来设了个三人评审小组才推动下去,早看到这段能省不少时间。
赵敏华:字段分级那条深有同感。我们一开始想用一套脱敏规则覆盖所有场景,结果业务部门抱怨数据没法用,安全部门还觉得风险大,两头不讨好。后来按场景拆开配置才好起来。
周景明:想问一下,数据集下线机制具体怎么定比较合理?我们目录里也堆了不少历史条目,想清理但怕误删还在用的。
韩雪松:主数据那块我吃过亏。物料编码没统一,下游十几个数据集口径全歪,排查了两天。现在回头看,先做两三个核心域这个建议是对的,我们当初铺太开了。
林嘉禾:小公司那段说得很实在。我们二十来号人,一开始也想上平台,后来发现最缺的是有人维护。现在先用清单加分级表撑着,等数据集过五十个再考虑系统。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
