在世界人形机器人运动会的赛场,乒乓球台正在成为检验人形机器人实力的“硬核考场”,乒乓球比赛也是本届机器人运动会上的一个新增大项。北京大学-智源研究院联合战队带着他们的机器人站上赛场,一路闯进决赛并勇夺冠军。
机器人为啥要打乒乓球,是炫技还是锤炼技术的“试金石”?新京报记者专访本届比赛机器人乒乓球冠军队领队李相龙、北京大学计算机学院研究员仉尚航,对相关问题进行了解答。
北京大学-智源研究院联合战队机器人参加乒乓球比赛。新京报记者 郭延冰 摄机器人正手、反手切换自如
8月25日下午3点半,“冰丝带”机器人运动会乒乓球比赛赛场,看台上坐满观众。北京大学-智源研究院的机器人运动员稳稳站在球台一端,全身关节蓄势待发,球拍握在机械手中。乒乓球高速穿梭球台两侧,小球飞过来时,机器人的双脚小步快速进行轻微挪动调整站位,手臂快速扬起,乒乓球划出一道弧线弹回对面球台。
连续对拉回合,机器人调整着球拍角度,正手、反手,小球在球网上方来回飞舞,引得观众连声叫好。比赛中,机器人也会接不到球,或者判断失误,球拍擦空,小球直接砸落在地。
机器人乒乓球赛为全自主比赛,没有工程师用遥控手柄操控,机器人自主决策完成整场对抗。场上,机器人气定神闲、挥拍从容自主;场外,工程师们十分紧张,就怕自家机器人落败。
从滑轨机械臂到人形机器人
本届比赛新增比赛项目有乒乓球、跳高、跳远、拔河等,“北大系”机器人为何选择乒乓球比赛?在不少人眼里,让机器人打球是一场炫酷表演,但比赛团队却有实打实的技术考量。
北京大学计算机学院研究员仉尚航介绍,北京大学从2024年秋天就启动机器人乒乓球项目,这是基于北京大学黄铁军教授原创的脉冲视觉技术。该技术通过高速脉冲相机捕捉乒乓球运动轨迹,实时补偿物理干扰,实现球-拍接触点的毫米级精准预测,较传统视觉方案响应速度提升10倍,为精准击球奠定感知基础。
“机器人打乒乓球,考验的就是眼、脑、身的协作。”仉尚航解释,这是具身智能里面极具挑战性的任务。机器人要靠“眼睛”捕捉乒乓球的运动轨迹,“大脑”快速做出预测与决策,再进行全身的运动控制。这套高速感知、快速决策、全身控制的完整技术链条,不仅限于乒乓运动,更将推动具身智能在工业高速操控、服务机器人精密交互等领域的广泛应用。
机器人上场打乒乓球。新京报记者 郭延冰 摄机器人也和人类新手打球一样,不是一出场就能大杀四方,同样经历了“练球升级”的漫长过程。
仉尚航介绍,最开始,团队并没有直接使用人形机器人,而是采用滑轨搭配机械臂的方案。今年春天,团队完成技术升级,正式切换成人形机器人本体。值得一提的是,把原本滑轨机械臂的打球能力迁移到人形机器人身上,整个团队只用了短短10天时间就完成适配。
乒乓球对抗,成为检验机器人全身协同具身智能的极限试验场。机器人需要对高速飞行的乒乓球快速做出反应,像人类运动员一样同步完成球速、旋转识别、三维轨迹预判、落点规划,并且向身体下发指令,协调双腿、躯干、手臂、手腕、灵巧手多组自由运动,复刻人类打球“眼、手、身、步”一体化协调能力。
机器人不仅要接住球,还得会发球。记者了解到,北京大学研究团队研发了一整套高度耦合的全链路技术体系。机器人依靠多自由度灵巧手稳定夹持乒乓球,实时感知球体接触位置与受力状态;同步联动手指、大臂、手腕等部位调控球拍动作,在毫秒级时序内连贯完成抛球、引拍、击球整套发球动作。全程全身控制系统实时校正机身重心,维持动态平衡,保障高速挥拍状态下击球点位、速度、姿态毫米级精准控制。
仉尚航说,机器人运动员也经历了从生手到熟练的过程,刚开始连3个球都接不住,经过一轮轮改进,现在机器人已经可以稳稳接球回击,连续对打。目前,机器人可以打出300个回合。
赛场上,北京大学-智源研究院联合战队机器人表现抢眼,仉尚航坦言,自己已经打不过这台机器人。按人类水平对标,如今机器人已经达到乒乓球初学者的水准。
毫米级预判,还会找对手弱点
李相龙介绍,让机器人打乒乓球至少具备三个模块,一方面是视觉感知,另一方面是机器人本体的运动控制,第三方面是打球模型和算法。“乒乓球是非常轻且非常小的物体,它在高速运动时,想精准预测球未来轨迹是一个比较复杂的问题。”目前通用的方案是采用高速动捕相机捕捉乒乓球在空间中的运动,然后计算出未来可能的轨迹以及击打的目标,并向机器人发送目标。最终机器人产生全身击球动作,并且用自己的拍子击到目标,将球击回对方桌面。
这是一个需要长期迭代和优化的过程。工程师们不仅教会机器人击球,也教会机器人用正手还是用反手击球,选择用哪种方式击球,由机器人自主决定。除此之外,针对长球和短球,训练中也有规划,机器人可以根据球的路径进行切换打哪种球。
机器人的训练用球也和常规乒乓球不一样。李相龙说:“在正常乒乓球基础上涂了一层薄薄的银色涂层,这个涂层便于高速动捕相机捕捉球的运动,它与普通运动员使用的乒乓球非常接近,但是重量增加约0.1克。”
机器人击打乒乓球时的力量如何控制?李相龙介绍,这方面的力量控制主要体现在物理建模中。机器人通过手持乒乓球拍与乒乓球的碰撞决定将球击回哪个位置。“乒乓球运动并非力量越大越好,既要控制好力量,还要确保打回的球落到对方球台上,如果飞出桌子就会失分。”
在训练中,工程师们不断调整仿真环境中球的建模以及真实中球之间的区别,使仿真球更接近真实球,同时让机器人在仿真环境中打得越来越准。这样可以更好地将仿真环境中的数据迁移到真实机器人,机器人可以表现得很好。
球台是机器人走进现实生活的“技术训练场”
不只赛场炫技和在赛场上拿名次,更重要的是工程师们想通过乒乓球台这张难度拉满的“技术训练场”,测试机器人,让机器人能够更快地走进现实生活。
“乒乓球速度快,属于高难度动态交互任务。”仉尚航介绍,如果机器人可以搞定飞来飞去的乒乓球,那面对生活、工厂里运动速度慢很多的物体,处理起来就会轻松很多。
这项练乒乓球打磨出来的技术,可以直接向外迁移复用。比如,工厂流水线上高速移动的工件,需要精准感知、预判运动轨迹,再完成抓取操作;家庭环境里面,机器人需要接住掉落的物品、处理动态变化的物件,背后都需要眼脑手协同的能力。
热闹的赛事背后,人形机器人距离真正大规模走进普通人家里,依旧还有不小距离。比如眼脑手协同,仉尚航分析说,机器人跳舞、打武术,动作行云流水,但缺乏对外界事物的理解和感知。要真正服务生活,机器人要做到眼睛看懂环境,大脑完成思考决策,再指挥身体做出对应动作。
另一方面则是泛化能力。如今,很多机器人可以在特定场景中完成任务,但是换个环境、换个物体样子,机器人就很难胜任。现实生活千变万化,物品摆放五花八门,机器人从实验室、赛场走到人类生活现实场景还有一段漫长路程,而乒乓球赛场的一次次挥拍,正是朝着这个目标向前迈出的重要一步。
新京报记者 吴婷婷
编辑 张树婧 校对 李立军