← 返回博客

个人博客

数据采集的几种方式:示教、遥操作与自探索

前情提要 上一回第 36 篇《伦理、就业与责任:当机器人真的走进生活》把具身智能的社会面收了个尾——它讲了机器人进了家门、上了街道之后,就业、安全、隐私、责任这些"人该怎么和机器共处"的难题为什么必须提前想清楚。可技术要继续往前走,绕不开一个老问题:机器人到底靠什么数据长大。第 34 篇《数据从哪来:人类示范与遥操作怎么喂机器人》讲了人类示范和遥操作两种采法,本篇就把"采集"这件事摊开讲全——除了手把手教,还有哪些姿势把真实经验变成训练数据。

一、数据不是天上掉下来的

前面几篇我们聊过,机器人变聪明靠的是被喂数据。可数据到底从哪来?很多人以为,工程师敲几行代码,机器人就"天生会干活"了。现实完全不是这样。一个会叠衣服、会开门、会递杯子的机器人,背后是成百上千万段"它看到了什么、又做了什么"的配对记录——这些数据,是实打实一段一段采出来的,没有捷径。为什么会这么费劲?因为机器人没有人生经验,它连"杯子该捏多重、衣服该顺着纹路捋"都得从数据里重新学起;而真实世界的花样又无穷多,光照、角度、物体的软硬稍有变化,它就得多看一遍。数据不够杂、不够多,它换个场景就傻眼。第 34 篇只讲了其中两种最常见的采法,这一篇把整张采集谱系补全,你会看到,喂饱一个机器人,办法比想象中多得多。

二、人类示范:照着人做一遍

最简单的一招,就是人先做一遍给机器人看。这套思路在第 17 篇《模仿学习:照着人做》里讲过:你戴上动作捕捉设备,或者用手在机器人身上带着它走一遍,把"这一刻画面什么样、你手臂怎么动"一帧帧录下来。录下成千上万对这样的例题,模型就去学"看见这种画面,就该这么动"。就像教小孩认猫,你不用讲猫有几条腿,指着他看多了他自然会认。好处是省心——人怎么做,它就怎么学;麻烦也在人身上:人做得标准它才学得好,示范里没见过的花样它照样抓瞎。

三、遥操作:人隔空"附身"

比单纯看视频更"贴身"的一招,是遥操作。第 34 篇《数据从哪来:人类示范与遥操作怎么喂机器人》详细讲过:人戴上一副能感应手指动作的手套,远在另一头的机械臂就跟着你的手一模一样地动。关键是,机器人一边被你操控着做动作,一边把"这一刻它看到了什么、你让它做了什么"实时记下来。这一记,记的是最宝贵的真机数据——不是看别人做,而是机器人自己"身体力行"时被同步采到的所见所动配对。很多公司专门养着一队"遥操作师傅",天天远程操控机器人干活,干的其实是在为机器人攒学费。

四、遥控自采:让机器人自己当主角

示教和遥操作里,动的主体始终是人。有没有办法让机器人"自己动",又照样把数据采下来?有,叫遥控自采。做法是让人戴上 VR 头显和动作捕捉服,第一人称去操作一个虚拟化身;与此同时,真实的机器人以"第一人称"跟着同步运动,它自己的摄像头看到什么、关节怎么动,全部被记下来。和遥操作比,遥控自采强调的是"机器人视角"——数据来自机器人自己的眼睛和身体,而不是旁观者的镜头。打个比方,遥操作像你站在场边遥控一台赛车,遥控自采则像你自己坐进驾驶座、以车子的视角把一路所见所感全录下来。前者便宜好采,后者更贴近机器人真正上场时的感受。

五、自探索:让机器人在环境里自己玩

前面四种,都还得人参与。最"省人力"的一招,是放手让机器人自己来。第 16 篇《强化学习:试错出真知》说过,机器人可以待在环境里自己动手试,做对了给奖励、做错了受惩罚,慢慢试出好策略。把这套思路搬到数据采集中,就是让机器人在房间里自己摸、自己推、自己滚动手臂,它每动一下、环境怎么变、拿到什么反馈,全程自动记成数据。人不用手把手教,数据却像雪球一样越滚越大。代价是早期很"笨"——机器人可能先撞墙一万次才学会绕开——但胜在能 7×24 小时不停产,而且采到的全是机器人自己身体产生的真数据。

六、看视频学习:用网上的录像当教材

还有一种特别取巧的办法:直接拿人类拍的视频当教材。互联网上早就有海量的"人怎么干活"的录像——做饭、收纳、修东西。让模型去"看"这些视频,推断里面的人手在往哪动、下一步要做什么,再反过来教机器人。这叫用人类视频作弱监督:数据不用专门采,现成的就有,覆盖面还极广。当然,视频里只有画面、没有机器人真实的"所见所动"配对,所以叫"弱"监督——模型得自己脑补很多中间环节,学出来也没那么精准。但它胜在量大、便宜、什么场景都有,常用来给机器人"开个眼界",再配合前面的真机数据精修。

七、小结:多源混合才是现实

讲完五路采法,你可能会问:到底哪一路最好?答案是——现实里没有"只靠一种"的傻瓜做法。人类示范和遥操作给得准,但贵又慢;遥控自采更贴机器人视角,设备门槛高;自探索能海量自产,却要熬过早期笨阶段;看视频最便宜量大,却不够精准。所以真正能干的机器人,几乎都用"多源混合":把这几路数据搅在一起喂。再回想第 13 篇《仿真器与数字孪生》——连仿真里练出来的合成数据,也会被掺进这锅"数据大杂烩"里补量。哪路数据多采一点、哪路少掺一点,往往要根据任务反复调:想让机器人稳稳抓杯子,就多喂遥操作和自探索;想让它见多识广,就看视频和仿真来铺底。采集这件事,从来不是单选题,而是一道怎么把各种经验凑齐、凑杂、凑便宜的工程题。

flowchart LR n1["人类示范"] --> n2["遥操作"] --> n3["遥控自采"] --> n4["自探索/自监督"] --> n5["多源训练数据"]

读后小测

「3 句话复述」 1. 机器人靠"看到什么、做了什么"的配对数据长大,采集谱系有五路:人类示范、遥操作、遥控自采、自探索、看视频学习,第 34 篇只讲了前两路。 2. 遥操作是人隔空附身边做边记真机数据,遥控自采强调机器人第一人称视角,自探索让机器人自己玩自动产数据呼应第 16 篇,看视频拿现成录像作弱监督。 3. 现实里没有单一路最好,能干的机器人都用多源混合把各路数据连同第 13 篇的仿真合成数据一起喂,采集是道凑齐凑杂凑便宜的工程题。

「1 件动手小事」 今天挑一件你闭眼会做的小事(比如叠毛巾、收筷子),先用手机第一人称俯拍视角录一遍自己的手,再换一个"旁观者"角度录一遍;对比两段视频,体会一下"机器人自己的眼睛看到的数据"和"别人镜头里的你"差别在哪——这正是遥控自采和普通遥操作最微妙的分界。

下一回,第 38 篇《标注长什么样:给机器人看的"标准答案"》:采到一堆原始视频和动作后,机器其实还看不懂——它得先知道"这一段里手该抓哪儿、这一步算不算做对了",也就是给数据标上答案。下一篇就讲讲,这些喂给机器人的"标准答案"到底长什么样。