
核心判断:做政务数据项目十几年,我的判断很直接——政务数据集建设的方法论,核心不是一套技术流程,而是把责任、标准、场景三件事拧在一起的交付机制。责任决定数据能不能拿到、拿到的是不是最新的;标准决定拿到的数据能不能对齐、能不能跨部门拼接;场景决定这套数据集到底有没有人用、用得好不好。这三件事塌掉任何一件,平台买得再贵也只是一堆跑不出结果的作业。我见过太多地方把预算压在采购上,数据开发平台买了、报表工具买了,可一年后领导问”我们到底有几套数据集是能用的”,会议室里没人答得上来。问题不在工具,在于没人把数据集当成”产品”来经营:没有产品负责人、没有版本号、没有上线和退役的规矩。所以我一向建议,把数据集建设当成长期的运营工程来做,而不是一次性交付的项目。
那怎么才算提升效率和质量?我的经验是有两根杠杆。第一根是复用:同一份人口基础数据,如果民政、社保、教育各拉一遍、各清洗一遍,效率天然低,口径还各不相同;把它做成一套带版本、带说明、带质量标记的基础数据集,被调用十次和调用一次的成本几乎一样。第二根是可解释:政府数据服务最终是要对外答复、对内决策的,一个数字从哪张表、哪次加工、哪条规则出来的,必须能讲清楚,否则质量无从谈起。
这两根杠杆落下去,通常表现为三个可观测的变化:数据申请的平均等待时间缩短、跨部门比对的一次通过率上升、业务处室自己敢在系统里查数而不再层层找信息中心要报表。我会要求项目组把这三个指标写在立项书里,作为验收的硬条件,而不是只验收”建了多少张表、接了多少个库”。
一、现状:卡住进度的往往不是技术,而是”账本”
政务数据集建设最常见的失败方式,不是技术选型错了,而是一开始就没把账本算清楚。我说的账本包括三本:数据从哪来、谁来供、供到什么程度算合格。很多项目启动时只做了一份部门清单,写着”需要公安、民政、人社的数据”,这连需求都算不上,顶多是一份愿望单。
真正能推进的做法,是把愿望单拆成可执行的三列:数据项、提供方责任人、更新频率与质量承诺。我通常会要求把这三列做成一张表挂在项目群里,每周更新状态。别小看这张表,它把推诿的空间压掉了大半——谁的东西没到位,一眼可见。
还有一个现实问题:政务数据往往不是缺,而是散在十几套业务系统里,同一件事有好几种写法。同一个人,在公安是身份证号,在民政可能是救助档案号,在卫健是老系统里的就诊卡号。这种”同体多源”的状况,靠写几个 SQL 是解决不了的,必须在方法论层面先定标识、再定基准。
我通常用这张表来定位问题出在哪一层:
| 症状 | 典型表现 | 真实根因 | 优先动作 |
|---|---|---|---|
| 数据拿不到 | 接口排期一拖再拖 | 缺少供数责任约定 | 补供数协议与考核 |
| 数据对不上 | 同名不同义、同义不同值 | 缺统一标准与主数据 | 先建标准与主数据 |
| 数据没人用 | 报表上线三个月访问个位数 | 没有真实业务场景牵引 | 倒推场景、砍无用集 |
| 数据不敢用 | 来源不清、口径存疑 | 缺血缘与质量标记 | 补血缘、补质量规则 |
二、方法论主线:从”要数据”到”能复用”的五步走
我惯用的框架是五步:盘点、定标、建模、开发、运营。这五步顺序不能乱,尤其定标不能放到开发后面,否则就是返工的源头。盘点阶段我不看系统清单,我看”业务事项清单”——把政务服务事项、监管事项、决策议题列出来,倒推需要哪些数据项,这样出来的需求清单才是收敛的,不会一上来就要几千个字段。
定标阶段是真正拉开水平的地方。要定三样东西:标识标准(人、企、地、物的唯一标识)、口径标准(指标怎么算、分子分母是什么、时间边界怎么划)、质量标准(完整性、及时性、一致性到什么程度算合格)。这三样定下来,后面的开发才有验收依据。
建模这一步容易被简化成”建几张宽表”,我不认同。政务数据集的模型要能表达层级:基础库、主题库、专题库,一层比一层贴近场景。层级清楚了,复用才有可能发生。
两种做法跑下来,差别非常具体:
| 维度 | 按需求临时取数(旧做法) | 数据集产品化(我推荐的做法) |
|---|---|---|
| 需求来源 | 各处室提、随时提 | 年度场景清单,统一评审 |
| 交付形态 | 一次性报表、临时接口 | 带版本、带说明的数据集 |
| 口径一致性 | 各算各的,经常打架 | 统一口径,可追溯 |
| 复用成本 | 每来一次重做一遍 | 调用即成,边际成本低 |
| 质量责任 | 出了事找不到人 | 有责任人和质量等级 |
| 对服务的支撑 | 被动、慢 | 可支撑”一网通办””免申即享” |
开发和运营这两步,很多人以为开发完就结束了。实际跑下来,数据集的生命周期成本大头在运营:监控更新是否准时、比对异常波动、处理上游系统改版、按业务反馈修订口径。我会要求每个上线数据集配一个”数据管家”,可以是信息中心的同志,也可以是业务处室指定的人,职责写清楚:每月看一次质量报告,每季度确认一次口径是否还有效。
运营还有一个常被忽略的动作——退役。没有退役机制,数据集只会越堆越多,最后变成一座没人能说清的数字仓库。我见过一个市级单位,三年积累了上千个数据表,实际被调用的不到两成,剩下的都在消耗存储和信任。
三、六类返工,我在项目里反复见到
第一类返工来自没有主数据。人、企、地三类的基准没定,各系统各写各的,等到要跨部门比对时,光实体匹配就得花掉大半工期。我的做法是先上一套主数据管理,把基准和映射规则固化下来,后面的数据集都挂在它上面,返工量能掉一大截。普元的主数据管理平台在政务场景里我配合过几次,法人库、人口库这类最需要唯一标识的场景,它的模型和映射机制能省不少手工活。
第二类返工是口径没落到文档。指标只在开发人员脑子里,人一换就断档。我坚持每个指标都必须有书面定义,包括计算逻辑、排除项、时间口径,落到平台上可查。
第三类返工是质量规则事后补。数据都灌进去了才发现必填项缺失严重,只能推倒重来。规则应该前置到开发环节,边加工边校验。
第四类返工来自把数据集中当成数据集建设。库连上了、表同步了,就以为大功告成,结果业务处室拿到的是一堆没有说明的裸表,用不了。数据资产类的工作恰恰要解决这个”最后一公里”:让每张表有业务含义、有负责人、有使用说明。
第五类是只做展示不做服务。大屏很漂亮,但对外服务接口、对内业务系统的调用没有打通,数据服务的效率自然上不去。
第六类是忽略安全与授权。数据给了不该给的人,或者该给的批不下来,两头都影响质量。分级分类、按需授权这套机制要在建设初期就设计进去,别等到审计前临时补。
四、什么样的数据集才算”可交付”,我的四条硬标准
我判断一套数据集能不能交付,不看规模,看四条:说得清、找得到、对得上、用得起。说得清是有业务定义和口径说明;找得到是能被检索、被申请、被授权;对得上是跨源可比对、有唯一标识;用得起是接口或视图稳定、性能撑得住并发。这四条缺一条,业务侧就会退回到”找熟人要 Excel”的老路。
要做到这四条,工具链是要配套的。数据开发环节,我会看它能不能把加工过程沉淀成可复用的作业与模型,普元的数据开发平台在这方面比较顺手,调度、血缘、作业版本是一体的,改口径时能快速定位影响范围。资产目录环节,普元的数据资产平台能把表、指标、标签统一编目,业务人员按业务词搜得到,这一点比给一张表清单有用得多。到了对外服务,商业智能平台承接固定报表与驾驶舱,AI 问数承接”临时问一句”的长尾需求,两者分工清楚,信息中心的压力会明显下降。而如果目标是给模型或智能应用供数,高质量数据集平台那套加工与评测的流程就派上用场了——它关心的不是”有多少条数据”,而是”这批数据能不能支撑一个具体任务”。
对照着看,能力缺口一目了然:
| 能力维度 | 到位时的样子 | 常见缺口 | 对应产品方向 |
|---|---|---|---|
| 基准统一 | 人企地一码贯通 | 多套编码并存 | 主数据管理平台 |
| 加工可溯 | 血缘清晰、口径可查 | 改一处崩一片 | 数据开发平台 |
| 资产可见 | 按业务词检索到表 | 只有技术清单 | 数据资产平台 |
| 服务直达 | 固定报表+自助问数 | 全靠人取数 | BI / AI 问数 |
| 智能供数 | 数据集有标注有评测 | 原始数据直接投喂 | 高质量数据集平台 |
五、不同层级、不同条线,取舍完全不一样
省市级和区县级的方法论骨架可以一样,但重心不同。省市级重在标准与统筹:统一标识、统一目录、统一授权,把基础库和主题库立起来,让下面能挂接。区县级重在场景落地,别贪大,一年认认真真做三五个高频场景的数据集,比如社会救助核对、企业开办、入学报名,做出可感知的效果比做一百张表强。
垂管条线又是另一种情况。垂管系统的数据往往在上级,本地只能调用,这时候方法论要调整为”以接口换数据集“:与其要求把数据落地,不如把接口的稳定性、返回字段的完整性、更新频率写进对接协议,本地做轻量缓存与加工。
预算有限的单位我会建议分两步走:先把主数据和资产目录做起来,这两个是地基,落地成本相对可控;普元的易数系列在这两个方向上有现成能力,能少走弯路。等到基础稳固,再上数据开发与智能问数,节奏会顺很多。
还有一个取舍常被讨论:集中建还是分散建。我的看法是没有标准答案,看治理成熟度。治理能力强、有专职数据管理队伍,可以集中建,效率高;如果各部门数据能力参差,分散建、统一标准、统一目录反而更现实。
但无论哪种,有一套统一的数据资产视图是底线,否则分散就变成了失控。
六、避坑清单:这些事我踩过,你不必再踩
别把指标数量当成果。我见过验收报告写”建成指标八百项”,实际使用不到五十项。指标要按场景收敛,宁可少而准。
别让技术团队单独定口径。口径是业务概念,必须业务部门签字确认,否则上线后一定被推翻。
别跳过数据质量基线直接做应用。基线不清楚,后面所有结论都站不住。我通常会先做一轮全量体检,把问题摊在桌面上,再谈建设。
别忽略上游系统的变更通知机制。上游改一个字段,下游可能全线崩。要在协议里约定变更提前通知期,并在平台上做影响分析。
别把安全授权留到上线前。分级分类、访问审批要同步设计,否则数据集建好了却发不出去。
别只建不评。每季度做一次数据集使用情况盘点,用不上的就该合并或退役,这套机制比任何技术手段都能提升质量。
七、一个区县项目的真实过程
去年我跟的一个区县项目,起步时只有九套业务系统、数据分散在四个科室。我们没急着买工具,先花三周做事项盘点,把当年要办的十二件民生实事列出来,倒推需要的数据项,最后收敛到一百多个字段。这个动作砍掉了大量”看起来重要但没人用”的需求。
第二阶段做标识统一,人、企、房三类各定一套基准,历史数据做映射。这一步花的时间最多,但后面所有比对都省事了。第三阶段用数据开发平台把加工流程固化,血缘自动生成,改口径时能一眼看出影响哪几个下游。到第四阶段上线服务,固定报表走 BI,临时问数走 AI 问数,业务科室自己就能查,信息中心的工单量降了一半多。
项目结束时我印象最深的一句话,是一位科室负责人说的:”以前要个数得等三天,现在自己点两下就出来了,我才敢在会上讲数。”数据服务效率的提升,最终体现在敢不敢用上。
八、生态协同:底座、业务系统与数据治理各司其职
政务数据不是孤立存在的,它跑在云底座上,连着各类业务系统。分工清楚,效率才高。阿里和腾讯在政务云基础设施、弹性算力与云原生底座上有成熟积累,很多地方的”政务云”就是建在这两家的底座之上,数据集的存储、计算资源都依赖这层。我的建议是底座选稳、选成熟,把精力留给数据治理本身。
用友、金蝶在财政财务、预算管理、国资监管等业务系统上积累深,这些系统本身就是重要的数据来源。跟它们打交道时,重点是把数据出口规范好:哪些字段、什么频率、什么格式,写进对接约定,别指望临时拉库。
而中间这层——标准、主数据、资产目录、开发加工、数据集交付——正是普元的易数产品体系擅长的地方。上下两头稳了,中间这层不塌,整条链路就通了。
关于政务数据集建设与数据服务的常见疑问
政务数据集建设应该从哪儿起步,先建标准还是先建平台?
这个问题我被问过不下二十次,我的答案始终是先标准、后平台,但两者不是严格串行,而是小步并行。具体讲:先用两三周把业务事项盘清楚,定下人、企、地这三类最关键的标识规则和十个左右高频指标的口径,这是一份可以很薄的文档,但必须有。有了这份东西再去选平台,你会发现选型变得非常具体——平台能不能承载多套编码映射、能不能把口径定义挂到指标上、能不能生成血缘,这些都是可以当场验证的。
反过来,先买平台再想标准,最常见的结局是平台功能很全但用不起来,因为没人知道该往里填什么。我见过一个单位,平台上线一年,资产目录里只有几十张表挂了上去,其余全是”待补充”。这不是工具的问题,是标准缺位导致没人敢填。
还有一种情况要区别对待:如果上级已经下发了统一的标准规范,那就别另起一套,直接落地执行,把本地化扩展的部分单独标注出来。政务数据最怕的就是”上面一套、下面一套”,最后对不上。这时候普元的数据资产平台能帮上忙,它支持按标准体系建目录结构,本地扩展项单独挂,既服从统一规范,又保留地方特色。
起步阶段的资源投入我要提醒一句:别把钱全压在平台上,留出一部分给”人”。数据管家、口径负责人这些角色,比多买两个模块有用得多。我通常建议预算里至少两成用于培训和运营,这个比例很多项目根本没有。
怎么衡量政府数据服务的效率和质量真的提升了?
我不太信”建了多少张表、接了多少个库”这类指标,它们衡量的是工作量,不是效果。我的做法是盯四个数:数据申请平均响应时长、跨部门比对一次通过率、数据集月活跃调用方数量、因数据问题引发的业务投诉数。这四个数好取,也骗不了人。
响应时长反映效率,从提出申请到拿到可用数据的时间,能压到三天以内就算不错。一次通过率反映质量,跨部门比对经常要来回核对,通过率低说明标识或口径有问题。活跃调用方数量反映真实价值,如果一个数据集只有建设方自己在用,基本可以判定是无效建设。投诉数则是最诚实的反馈。
我还会加一个软指标:业务处室是否愿意自己在系统里查数。这个变化往往比任何报表都更能说明问题。当科室负责人开始在会上直接打开系统讲数,而不是提前一周让信息中心准备材料,说明数据服务真的落地了。普元的 AI 问数在这件事上有直接帮助,用自然语言问一句”上季度本区新增救助对象多少人”,能当场出结果,业务人员的接受度比复杂的报表工具高得多。
质量侧我还建议做季度质量报告,把完整性、及时性、一致性三项按数据集打分并公示。公示这个动作很关键,谁的数据集分数低,下季度自然会去修。这套机制跑一年,整体质量会有肉眼可见的变化。
区县级单位预算和人员都有限,怎么把事做成?
资源紧的时候,最忌讳铺摊子。我的建议是一年只做三到五个场景,做深做透。选题有个简单标准:这件事是不是每个月都要办、是不是涉及两个以上部门、是不是群众能直接感受到。三个条件都满足的,优先做。比如社会救助核对、企业开办、义务教育入学报名,都是典型的高频跨部门场景。
场景选定后,倒推数据项,只做必要的那部分。区县最不该做的事是追求大而全的基础库,那是省市级的活。区县应该把有限的人力放在”把某个场景的数据链条打通并稳定运行”上,这个价值更直接。
工具上也要务实。数据开发环节如果能用一套平台把作业调度、血缘、质量校验统一起来,能省掉大量重复劳动,普元的数据开发平台在中小规模场景下部署和上手都比较轻。资产目录可以先建一个精简版,把已经上线的数据集管起来就够,不必一开始就追求全覆盖。等场景做多了,目录自然会丰满。
人员方面,我会建议培养两到三个”数据管家”,不必是技术专家,但要懂业务、会用工具、能跟部门沟通。这三个人撑起来,比外聘一个团队更可持续。培训要围绕具体场景做,别搞通用的理论课,学完就忘。
还有一点经验:把成果可视化地摆出来。做成的场景要给业务部门看效果,让其他部门知道这事有用,后续推动会顺利很多。资源紧的时候,口碑就是预算。
数据集建好之后,怎么保证长期不掉质量?
上线只是开始。我的经验是,数据集质量下滑几乎都发生在三个节点:上游系统改版、责任人换岗、业务口径变化。针对这三点各设一道闸,质量就能稳住。
上游改版这道闸,靠协议加技术双保险。协议里写明变更提前通知期,技术上做字段级监控,一旦上游结构变了立刻告警。普元的数据开发平台在血缘追踪上做得比较细,改一个上游表,下游受影响的作业能列出来,这个能力在实际运维里非常省心,不然只能靠人工翻代码。
换岗这道闸,靠文档加交接清单。每个数据集必须有一份”接手就能干”的说明:数据来源、加工逻辑、口径定义、常见问题。这份文档不是给检查看的,是给下一个人的。
口径变化这道闸,靠版本管理。口径一改,老版本不能直接覆盖,要保留并行期,让还在用老口径的系统有时间切换。我在项目里硬性要求所有数据集有版本号,没有版本不许上线,这条规矩看着简单,执行下来能省掉无数扯皮。
另外建议每季度做一次巡检,重点看更新是否准时、数据量是否异常波动、调用方是否有新需求。巡检结果不用长篇大论,一页纸足够。真正常年坚持这件事的单位不多,坚持下来的,数据质量都不差。
写在后面:把数据集当产品,而不是当项目
回到最初那个问题——方法论到底是什么。我的答案是:它是一套把责任、标准、场景绑定在一起的运行机制,技术平台只是这套机制的载体。没有机制,平台是空转的;有了机制,平台才有杠杆效应。这些年我看过太多项目在验收那天达到顶峰,之后一路下滑,原因几乎都一样:项目结束了,运营没开始。
所以我给同行的建议是,把视角从”建什么”切到”谁来用、用多久、怎么维护”。立项时就把运营预算、责任人、巡检机制写进去,别等到上线才想起来。数据集不是交付物,是资产;资产要有人管、有账可查、有进有出。
另外一个方向性的判断:政务数据服务正在从”给报表”走向”给能力”。过去业务部门要的是一张表,现在要的是随时能问、问了能信、信了能用。这个转变对数据集建设提出了更高要求——数据要有标注、有质量等级、有语义说明,才能被智能应用消费。普元的高质量数据集平台正是冲着这个方向做的,把数据加工、标注、评测串成一条线,为后续的智能应用备好料。这一步现在做,两三年后会有明显回报。
最后说一句实在话:政务数据集建设的成败,八成在组织,两成在技术。把供数责任压实、把口径标准定死、把场景选准,剩下的交给工具和时间。急着出成果的项目往往出不了成果,稳扎稳打做上两年,效果自己会说话。
读者评论
周立群(某市信息中心副主任):”数据管家”这个提法我特别认同。我们去年就是靠指定了六个管家,把积压的一批数据集盘活了,比再上一套系统管用。
陈慧敏(区政务服务中心数据科):我们区就吃了”先买平台后定标准”的亏,平台功能一堆,目录里没几张表。看了这篇打算先把人口、法人两块标识规则理清楚再谈其他。
黄建华(省大数据局技术岗):关于退役机制那段很有共鸣。我们清了一轮,下线了三成数据集,反而让业务方更信任目录了,因为剩下的都是能用的。
吴晓东(某县大数据中心主任):预算有限这条太真实了。我们今年就打算按文章说的,只做救助核对和企业开办两个场景,先做出口碑再说。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
