← 返回博客

个人博客

大模型上车:从"聊天"到"动手"

前情提要:上一回《行走与平衡:双足机器人的控制难题》讲到,双足机器人每走一步都在和"倒下"搏斗,平衡的本质是底层控制算法不停把质心投影拉回支撑区;那一篇把"身体怎么动才稳"讲透了。本篇换个问题:谁来当机器人的"大脑",把好懂的一句话变成身体能执行的动作?

会聊天的大模型,怎么指挥真机器人?

你跟一个聊天机器人说"帮我倒杯水",它能在屏幕上回你一段步骤。可如果对面站着一个真机器人,它得真伸手、真抓杯子、真走过去——这中间差着一道巨大的鸿沟:从"听懂一句话"到"身体动一下"。

大模型最擅长的是语言。它读得懂"把桌上左边的红杯子拿过来"。但机器人身体不懂语言,它只懂"关节转到多少度、轮子转多快"。于是问题来了:谁来把这句话翻译成动作?

答案不是让大模型直接去算关节角度。恰恰相反,大模型在这个系统里扮演的是"总指挥"。

想象一家餐厅。顾客(也就是你)用语言点单:"来份少辣的牛肉面。"大堂经理(大模型)听懂了,把它拆成后厨能执行的指令:下面、备牛肉、少放辣。但大堂经理不去亲自切牛肉、不去烧水——那是后厨厨师(底层控制器)的活。

机器人也一样。大模型负责高层规划:理解你的意图、拆成子目标、决定调用哪些"技能"。而"技能"是预先写好的、确定性的动作模块——比如"抓取""行走""放置"。这些技能的内部,仍然是第 15 篇《运动控制入门:让机械臂不抖不撞》里讲的 PID 控制器、第 19 篇《行走与平衡:双足机器人的控制难题》里讲的平衡控制算法在干活:它们精确算出关节该转几度、机器腿该踩哪儿,保证动作稳、准、不摔。

flowchart LR n1["语言指令"] --> n2["大模型(规划)"] n2 --> n3["技能调用"] n3 --> n4["动作"]

这张图就是整个分工。最左边是你说的话(或你指给摄像头看的东西),中间是大模型在做规划,它从技能库里挑出合适的技能拼起来,最右边才落成一个个真实动作。

重点在于中间那道"语义→动作"的鸿沟。

一句话好懂,但落到机械臂该转几度、机器腿该踩哪,中间隔着巨大的翻译难题。大模型并不凭空发明动作,它要么把指令映射到已有的技能库("倒水"约等于调用"抓取"加"倾倒"加"放置"),要么把大目标分解成小目标("收拾桌子"变成:先收碗、再擦桌、最后归位)。

举个具体的例子。你说"把杯子轻轻放在桌角"。人类一听就懂:"轻轻"是慢、是稳,"桌角"是桌面边缘。但机器人得把"轻轻"翻译成更慢的电机速度,把"桌角"翻译成坐标位置;这每一步都是把模糊语义变成精确数值的过程,也正是那道鸿沟最难的地方。

这其实是一种"受限的创作"。大模型不是自由发挥,而是在一个已经存在的技能集合上做选择和编排。它像一个懂多种语言的调度官,知道哪件事该交给哪个专员,但专员手里的具体技术它不碰。

为什么不让大模型直接算关节角度?因为那太容易出错。精确运动控制需要毫秒级、稳定、可预测的反应,还要随时抵抗外界扰动——这正是 PID 和平衡控制擅长的。大模型相对慢、偶尔还会"幻觉",让它直接控关节,机器人可能一伸手就把杯子拍飞。所以这种分工是现实里最稳的选择:大模型管"想什么",控制器管"怎么做"。

这些"技能"也不是天上掉下来的。它们大多是工程师事先为特定机器人写好的:机械臂厂商把"抓取""放置"调好,移动底盘把"前进""避障"调好。大模型只是在这些已经验证可靠的模块上做"拼装"。这带来一个现实限制:如果技能库里没有某样东西,大模型再聪明也没法凭空变出来——它最多建议你"去学一个新技能"。

把"总指挥"和"控制器"分开,还有个好处:各管各的、互不拖累。控制器可以沿用第 15 篇《运动控制入门:让机械臂不抖不撞》、第 19 篇《行走与平衡:双足机器人的控制难题》里打磨多年的成熟算法,稳得像老司机;大模型则可以不断升级语言能力,今天听懂中文、明天听懂英文,身体那套控制完全不用动。这就像给工厂换了个更聪明的中层主管,底下的老师傅照旧把手艺做精。

顺带一提,这种从语言到动作的规划,本质是搜索一条可行的任务序列,背后往往依赖世界模型去预判"做了这步会怎样"。有人好奇:未来量子计算能否加速这类规划与世界模型的搜索?这是一道开放题,挺有意思,但不是本篇重点——我们还是先把"总指挥"和"控制器"的分工讲清楚。

读后小测

「3 句话复述」 第一,大模型在机器人里当"总指挥",负责听懂指令、做高层规划和任务拆解,而不是去算关节角度。第二,精确的身体控制仍交给 PID、平衡算法这类底层控制器,它们保证动作稳而准。第三,从"一句话"到"动一下"之间隔着语义到动作的翻译难题,大模型靠调用已有技能库或拆分子目标来跨过它。

「1 件动手小事」 今天就用手机上的语音助手(或任意大模型)试着对一个任务下指令,比如"把桌面收拾干净",然后观察:它给的是不是一串可以拆解的小步骤?再想一想,如果换成真机器人,其中哪一步最难变成真正的"身体动作"。

到这里,我们弄清楚了一个关键分工:机器人的"大脑"和"小脑"并不是同一个东西。大模型是那个会思考、会拆解任务的总指挥,而真正让身体稳稳动起来的,是藏在背后的控制器。下一回,第 21 篇《VLA 模型:看见、听懂、然后行动》——你会看到把"看、听、做"塞进同一个模型的思路,本篇的"总指挥"将升级成"眼耳手一体"的具身大模型。