01 国家怎么说:高质量数据集的政策、制度与要求
这是「高质量数据集」专题的第一篇正文。
如果只让你记住一句话,我会说这句:在今天的 AI 竞赛里,数据已经取代了算力和算法,成为决定胜负的那块"数字地基"。 它不再是模型的"备料",而是可以确权、可以交易、可以增值的战略资产。而"高质量数据集",就是这块地基里最硬的那部分混凝土。
这篇我们会把国家层面的政策、制度和要求,用尽量通俗的方式一次讲透。下面进入正题。
引子:为什么现在每个人都要关心"高质量数据集"
先讲个身边的事。你用过的很多国产大模型,背后其实都"吃"过同一批东西——高质量训练数据。过去大家觉得"模型够大就行",但产业实践反复验证了一个朴素事实:模型性能的上限,越来越由训练数据的质量、而非单纯规模决定。当通用语料被反复"榨干"、同质化数据的边际收益越来越低,"以模型为中心"的路线触顶了,整个行业转向"以数据为中心"。
这跟你有什么关系?如果你是开发者,你迟早要面对"去哪找干净数据、怎么标注、怎么合规"的问题;如果你是研究者,你的论文 baselines 越来越依赖高质量语料;如果你是企业里的技术负责人,你很可能要回答"我们手里哪些数据,能变成资产、能卖钱、能换模型"。一句话——数据,正在从"成本项"变成"资产项",而规则已经写好了。所以,读懂这套政策,就是读懂你未来几年的饭碗边界。
一、政策全景:从"数据二十条"到"六大行动"
把时间线拉直,国家其实用四年时间,铺了一条"制度先行、设施承载、标准引领、行动落地"的清晰路径。我们用一张图看最关键的几个里程碑:
逐站解读一下:
- 2022 年 12 月,"数据二十条":全称《关于构建数据基础制度更好发挥数据要素作用的意见》。这是整个故事的地基——确立了数据产权、流通交易、收益分配、安全治理四大基础制度,并首创"三权分置"(后面会细讲)。
- 2023 年 12 月,"数据要素×"三年行动计划:17 个部门联合发文,强调数据要素的高质量供给与合规流通,明确要"打造高质量 AI 大模型训练数据集",目标到 2026 年底打造 300+ 示范场景。
- 2024 年 12 月,关键转折点:《关于促进数据产业高质量发展的指导意见》首次在中央政策文件中明确提出"高质量数据集"概念;同月《国家数据基础设施建设指引》把高质量数据集供给纳入国家数据基础设施,要求研制建设标准和标注交付规则。
- 2025 年,标准与方法论年:2 月国家数据局组织 27 个部委开启动会;4 月数标委发布《建设指南(征求意见稿)》及格式、分类、质量评测等标准草案;8 月国务院"人工智能+"行动意见落地,8 月 28 日《高质量数据集建设指引》给出"1+1"建设路径;年内 GB/T 45652、GB/T 45674 两项国标发布。
- 2026 年 6 月 8 日,系统部署:国家数据局《关于推进行业高质量数据集建设行动的实施方案》出炉,这是国家层面首次系统性部署数据赋能 AI 发展,六大专项行动 + 2028 目标一并明确。
数据也侧面印证了供给侧的"底盘":截至 2025 年 6 月,全国已建高质量数据集超 3.5 万个(另据公开报道,七大数据标注基地已建成行业数据集 524 个、规模超 29PB,赋能 163 个国产大模型)。真正的挑战,已经从"有没有"转向"好不好、用得上、流得动"。
二、到底什么是"高质量数据集"
定义(出自《实施方案》):经过采集、加工等数据处理,可直接用于开发和训练人工智能模型,能有效提升模型性能的行业数据的集合。它包含"行业通识"和"行业专识"两类。
注意两个限定语——"可直接用于"和"能有效提升模型性能"。这俩是区分"高质量数据集"和"一般数据资源"的本质标尺。
最形象的类比:原始数据像原油,高质量数据集像炼化后的汽油。原油要复杂加工才能用,汽油能被汽车直接"加注"。差别不止于加工程度,更在于价值逻辑:
- 用途:传统原始数据——记录、统计、报表;高质量数据集——直接训练 / 微调 AI 模型
- 形态:传统原始数据——异构、噪声多、未标注;高质量数据集——结构化、清洗、标注、可验证
- 价值验证:传统原始数据——难以量化;高质量数据集——用模型性能提升来验证
- 流通性:传统原始数据——受限、点对点;高质量数据集——标准化、可平台化交易
而国家用一套"3+7"框架来对数据集做精细画像:
- 3 类知识层级(按内容深度,越往上越稀缺、越难标注、价值越高):
- 通识数据集:知识属性——通用知识;所需背景——无需专业背景;典型例子——维基百科、Common Crawl、新闻聚合
- 行业通识数据集:知识属性——领域通用知识;所需背景——需一定专业背景;典型例子——PubMed 文献库、SEC 文件、ISO 标准库
- 行业专识数据集:知识属性——行业专业知识;所需背景——需较深业务经验;典型例子——电网巡检缺陷图像、航空制造数据
- 7 个描述维度:知识内容、来源类型、时效性、标注人员类型、敏感程度、模型类别、主题范围。这七个维度既是分类标签,也是后面质量评测和合规审查的"检查清单"。
三、好不好怎么算:AI-Ready 与质量评测
光说"高质量"不够,得有尺子。国家给了两把尺。
第一把尺:AI-Ready 四项核心标准(来自"提质增效行动")。一份数据集要"人工智能就绪",得满足:
1. 结构完整性:格式规范、字段齐备、元信息可溯源; 2. 内容多样性:覆盖足够场景与分布,避免偏置; 3. 标注准确性:标注与事实一致、误差可控; 4. 模型适配性:契合目标模型的训练 / 推理需求。
满足这四项,能直接降低训练与推理成本、缩短落地周期。
第二把尺:质量评测三维度 16 项(数标委草案)。这是理解整套标准的关键——它把评测从"合规可用"升级为"AI 效能":
- 文档完整性:指标项数——4 项;具体指标——基本信息、内容特征、建设过程、应用说明的完整性
- 质量合规性:指标项数——8 项;具体指标——结构完整性、安全规范性、标注规范性、内容专业性、内容真实性、内容干净性、内容一致性等
- 场景适用性:指标项数——4 项;具体指标——内容多样性、规模完整性、标注准确性、模型适配性
这里最大的创新点是新增"场景适用性"维度。传统评价(GB/T 36344 六维度)只看数据"干不干净、合不合规";而"场景适用性"逼问的是:这份数据让模型变强了多少? 用模型在数据集上的性能提升,反向验证数据价值。这意味着一份数据集的"质量合格证",不再只看自身多干净,更要看它让模型强了多少——把质量从"静态审计"推进到"动态验证"。
为降低企业合规成本,政策还推动"一次测评、全国互认":统一测评方案与工具,让供给方"一处过关、全国通行",这是数据要素统一大市场的重要一环。
四、六大专项行动:一口气破六难
《实施方案》的重头戏,是六大专项行动。它们不是孤立的,而是对应着数据集从"生"到"用"全链条上的六个堵点。先看这张串联图:
逐个对应"难题 → 行动":
- 强基扩容:破解的难题——供得出;核心定位——拓宽供给渠道、丰富供给类型(19 个重点领域 + 5 个创新领域)
- 标注攻坚:破解的难题——精加工高价值;核心定位——数据标注从"以人为主"升级为"人机协同、专家深度参与"
- 提质增效:破解的难题——质量好、标准化;核心定位——按 AI-Ready 标准交付,关键技术攻关
- 应用赋能:破解的难题——用得好;核心定位——打造"数据飞轮"闭环,以模引数、用数赋模
- 管理服务:破解的难题——管得住、保安全;核心定位——全生命周期管理,权责清晰
- 价值释放:破解的难题——流得动、价值显;核心定位——释放要素价值,创新商业模式
几个值得你记住的抓手:
- 强基扩容覆盖 19 个重点领域(科研、工业、医疗、金融、交通等)和 5 个创新领域(低空经济、具身智能、智能驾驶、智慧海洋、生物制造),数据类型涵盖文本、代码、图像、音频、视频、点云、时序、科学数据等多模态。
- 标注攻坚推行三种协同范式:"模型预标注+人工校准""人工标注+模型检验""模型预标注+模型检验",并建设标注创新试验区、建立专家型标注认证机制。标注正从劳动密集型走向"技术 + 知识密集型"。
- 价值释放给出的商业模式很有意思:数据交易所挂牌、订阅 / 商场 / 定制、API 调用,以及前面提到的词元交易;资产化路径包括质押融资、作价入股、证券化、数据信托、数据保险。
而所有这些行动最终要拧成一颗"数据飞轮"——注意,是闭环而非直线:
它的精髓是:以应用场景定义数据需求,以模型应用反馈迭代数据质量,让数据在流动中持续增值,而不是"交付即结束"。
五、红线与合规:三权分置 + 合规三要求 + 国标
讲完"怎么建",必须讲"什么不能碰"。合规不是事后补票,而要嵌入数据集建设全生命周期。
第一根支柱:数据"三权分置"(源自"数据二十条")。把数据权利拆成三块——数据资源持有权、数据加工使用权、数据产品经营权。高质量数据集作为"加工后"的数据产品,谁建的数据、谁有权用、收益归谁,正是三权分置的典型落地场景。
第二根支柱:合规三要求。国家对训练数据的治理采用"原则性立法 + 技术性标准"双层模式,落到实操上有三道必答题:
- 数据来源合法:关键内容——用户授权、版权核验、正规采购;防来源不明 / 篡改 / 投毒;合规目标——便于溯源、保障产权
- 数据质量保障:关键内容——内容真实多样;过滤虚假有害信息;标注准确(区分功能性 / 安全性标注);合规目标——模型可信、输出可控
- 数据安全管理:关键内容——采集 / 存储 / 传输 / 使用各环节加密、访问控制、安全检测;合规目标——全流程安全、风险可控
第三根支柱:国家标准。两个直接相关:
- GB/T 45652-2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》
- GB/T 45674-2025《网络安全技术 生成式人工智能数据标注安全规范》
配合更早的 GB/T 36344-2018(传统数据质量六维度),构成从"数据本身"到"训练 / 标注环节"的完整安全底线。
伦理底线也写得很清楚:严禁非法收集敏感数据,防范偏见与歧视,内容要符合主流价值导向,防投毒、防泄露,建立全流程安全治理。
六、到 2028 年我们要去哪
《实施方案》给了一个清晰的时间表——到 2028 年底:
- 建成一批覆盖重点领域、经过应用验证的行业高质量数据集;
- 打造一批数据驱动 AI 创新发展的典型应用场景;
- 培育一批具备领先优势的创新型数据企业和专业人才;
- 形成一批建设工具和标准;
- 数据从供给到价值释放的良性循环基本形成。
换句话说,未来三年,国家要的不是"数据集数量再翻几倍",而是一批真被模型用过、真能提升性能、真能流通变现的数据集,以及围绕它们的工具、标准和人才。
七、对你意味着什么
落到具体的人,该做什么?
- 企业 / 央国企:梳理财税与业务侧的"数据资源清单"和"数据集需求清单";坚持"以场景定数据、以数据促模型";链主单位主动开放数据集赋能上下游;把数据采买纳入年度预算,培育"为数据付费"的意识。
- 开发者 / 数据工程师:尽早建立"数据集也是工程资产"的意识——版本管理、质量校验、合规溯源要像写代码一样规范(这正是本专题后面几篇要手把手教你的)。
- 研究者 / 高校:关注"场景适用性"评测方法论,参与数据集建设和标注人才培养;你的研究力量,正是评测从"合规"走向"效能"的关键拼图。
下一篇预告
政策听明白了,工具就要上手。下一篇 02 开源数据标注工具巡礼,我们会横向对比 Label Studio、CVAT、Argilla、doccano、Prodigy 五款主流开源标注工具,帮你看清它们的定位差异、适用场景和"坑点",让你在动手建数据集之前,先选对趁手的兵器。我们下篇见。