02 开源数据标注工具巡礼:从 Label Studio 到 Prodigy 的五款主流兵器
这是「高质量数据集」专题的第二篇。
上一篇我们把国家政策、制度和要求讲透了——其中有个关键词反复出现:标注攻坚。国家把数据标注从"以人为主"升级为"人机协同、专家深度参与",还明确了"模型预标注 + 人工校准""人工标注 + 模型检验"等协同范式。说白了,标注就是把"原油"炼成"汽油"的那道工序,是原始数据变成 AI-Ready 数据集的关键一跃。
那问题来了:这道工序,到底该用什么工具干?
市面上标注工具不少,但真到了要落地一个数据集,选型能让人纠结半天。这篇我们就横向对比 Label Studio、CVAT、Argilla、doccano、Prodigy 五款主流工具,把它们的定位、许可证、适用场景和"坑点"一次讲清,帮你选对趁手的兵器。
一、先建立一把"评测尺"
工具没有绝对的好坏,只有"合不合场景"。在横评之前,我先给你四个最常用的判断维度——后面每款工具都按这个框架过一遍:
- 模态覆盖:能标文本、图像、音频、视频,还是只擅长某一类?这直接决定它是"通用平台"还是"单点利器"。
- 协作与治理:多人并发、任务分发、质检回流、版本留痕做得怎么样?数据集要"管得住",协作能力是硬指标(呼应上一篇的"管理服务行动")。
- 模型协同:能不能接 ML backend 做预标注、主动学习、用模型反馈反哺标注?这正好对应政策的"人机协同"范式。
- 许可证与成本:开源可商用,还是闭源付费?这决定了你敢不敢把它用在商业项目里。
把这四把尺摆好,五款工具的高下就清楚了。
二、五款工具逐一点评
1. Label Studio —— 多模态旗舰(Apache 2.0)
定位:目前最成熟的开源标注平台之一,背后的商业公司是 HumanSignal。它的杀手锏是多模态统一——文本、图像、音频、视频、时间序列,一个界面全包了,靠模板化配置切换标注类型。
模型协同:内置 ML backend 机制,可以接你自己的模型做"预标注 + 人工校准",天然契合政策的协同范式;生态里有大量插件(如与 Hugging Face、LangChain 的集成)。
坑点:
- 架构偏重(Python 后端 + React 前端),多人高并发场景下需要自己调优,否则界面会卡;
- 标注界面的配置项多,上手第一周容易被模板语法劝退;
- 真正好用的"企业级"协作、SSO、精细权限,部分能力在向商业版倾斜。
适合谁:需要一个统一平台覆盖多种模态、且有一定工程能力的团队。它是最"全能"的那一个,但也是"最重"的那一个。
2. CVAT —— 图像视频专精(MIT)
定位:由 OpenCV 团队维护,是计算机视觉方向的事实标准。图像分类、目标检测、实例分割、关键点,尤其是视频标注(带帧间插值、半自动跟踪)体验极佳。
模型协同:支持接入自动标注(集成检测/跟踪模型做预标注),任务可以按帧/片段分发给多人。
坑点:
- 重心在 CV,NLP/对话类几乎不碰;
- 部署偏重(一堆 Docker 容器),初次搭建要花点心思;
- 功能强大但界面学习曲线较陡,新人需要培训。
适合谁:主要做图像、视频标注,尤其是带目标跟踪的长视频任务。它是 CV 领域的"专业选手"。
3. Argilla —— LLM 与文本数据原生(Apache 2.0)
定位:原本是独立开源项目,2024 年 5 月被 Hugging Face 以约 1000 万美元收购,现在是 HF 生态的"数据策展"一环。它不只是标注 UI,更像是数据集管理和质量看板,和 HF Hub、transformers、distilabel 深度打通。
模型协同:对 LLM 微调/对齐数据特别友好——构建偏好数据(用于 RLHF/DPO)、评测集、用模型生成 + 人工筛选的流水线,几乎是为"以数据为中心"的 LLM 迭代量身定做。
坑点:
- 基本只做文本/对话,图像标注能力弱;
- 定位偏"数据策展"而非纯标注,如果你只想要个标框框的工具会觉得它"重了点"。
适合谁:正在做大模型训练/对齐、需要跟 Hugging Face 生态联动的团队。它是 LLM 数据这条线的"亲儿子"。
4. doccano —— 轻量文本标注(MIT)
定位:极简的纯文本标注工具,支持文本分类、命名实体识别(NER)、序列标注、翻译对齐。依赖少,一条 docker run 就能起来。
坑点:
- 功能简单,没有复杂的协作、质检、模型协同;
- 项目维护已近乎停滞,新特性迭代很慢;
- 不适合大团队、大批量、强治理要求的场景。
适合谁:个人或小团队快速标文本、做原型验证。它是"小而美"的代表,别指望它扛生产。
5. Prodigy —— 主动学习驱动的极速标注(商业付费)
定位:由 spaCy 的作者 Explosion 出品,走的是主动学习(Active Learning)路线——模型先挑"最不确定"的样本给你标,标一点就更新一点,标注效率极高,和 spaCy 无缝衔接。
坑点:
- 闭源、商业付费,没有免费层(提供退款保证,但不是免费试用);
- 工作流是"以模型为中心"的,如果你的数据/场景和 spaCy 体系不搭,迁移成本不低。
适合谁:已经用 spaCy、追求标注效率、且预算充足的团队。它是"花钱买效率"的典型。
三、一张表看懂五款差异
- Label Studio:许可证——Apache 2.0;核心模态——全模态;最强项——统一平台、生态大;最该警惕的坑——架构重、配置复杂、并发需调优
- CVAT:许可证——MIT;核心模态——图像 / 视频;最强项——视频跟踪、CV 专精;最该警惕的坑——只做 CV、部署重、学习曲线陡
- Argilla:许可证——Apache 2.0;核心模态——文本 / LLM;最强项——HF 生态、数据策展;最该警惕的坑——偏 NLP、非纯标注 UI
- doccano:许可证——MIT;核心模态——文本;最强项——轻量、一键起;最该警惕的坑——维护停滞、无强治理
- Prodigy:许可证——商业付费;核心模态——文本(spaCy);最强项——主动学习、极速;最该警惕的坑——闭源付费、绑定 spaCy 体系
别忘了:政策里强调的"标注攻坚",本质就是让人和模型分工——模型干重复的预标注,专家干高价值的校准与质检。上面五款里,Label Studio、CVAT、Argilla 都能接模型做预标注,Prodigy 更是把"模型挑样本、人只标难的"做到了极致。选对工具,你的标注就从"人海战术"升级成了"人机协同"。
四、怎么选:一张决策树
光看表还不够直观,给你一张"选型决策树",顺着问题走就能落到具体工具:
再看一眼"人机协同"在工具里是怎么跑起来的——这正是政策范式的技术落点:
五、落到你自己的项目
给你三条最实用的选型规则:
- 想要一个平台通吃所有模态 → 上 Label Studio;
- 死磕图像 / 视频(尤其视频跟踪) → CVAT 是默认答案;
- 做大模型训练 / 对齐数据,且离不开 Hugging Face → Argilla 几乎不用犹豫;
- 只是个人或小团队快速标文本 → doccano 一键起最省心;
- 已经用 spaCy、想用主动学习把效率拉满、且愿意付费 → Prodigy 值得。
最后提醒一句合规(呼应上一篇的"红线"):无论用哪款工具,数据来源合法、标注过程可溯源、敏感数据不出域这三道关不能因工具而放松。工具帮你"做得快",但合规是"做得对"的前提。
下一篇预告
工具选好了,数据集建起来之后,更大的麻烦是"怎么管"——版本乱了回不去、质量烂了查不出、多人改了分不清。下一篇 03 数据集版本管理与数据治理,我们会介绍 DVC、DataHub、LakeFS、Cleanlab、Great Expectations,帮你把数据集像代码一样管起来,告别"数据烂尾楼"。我们下篇见。