48小时真机对决,首届蚂蚁灵波具身大模型挑战赛落幕
全球开发者上海“赶考”,00后团队拿下最高分
-
蚂蚁灵波首届具身大模型挑战赛总决赛现场。 -
蚂蚁灵波首届开发者大会共话产业发展。 -
全球15支开发者团队齐聚上海。
11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。15支战队在上海张江科学会堂集结,48小时内基于蚂蚁灵波开源模型和统一配置的设备,结合统一预采数据与现场采集数据,完成模型调优、部署调试和任务评测。最终,平均年龄仅25岁的五人小队“TARS”以82.5分获得第一。
这场比赛9月在外滩大会启动,初赛吸引13个国家的1855支队伍和3252名选手,覆盖648家高校、科研院所及企业,其中海外高校及单位41家,成为行业最大规模具身大模型挑战赛。经过两个月的线上仿真赛后,11月在上海参加线下真机总决赛,接受统一评测。
与此同时,上海原创的具身大脑也在智慧药房、工业上下料和物流分拣等探索场景应用。透过这场挑战赛可以看到,上海正在把原创技术、研发人才与产业场景连接起来,加速形成未来产业创新集群生态,打造全球具身智能产业创新高地。
各路开发者齐聚上海
11月14日,决赛选手们从北京、上海、杭州、深圳、成都、武汉等地赶来,还有选手专程从温哥华前来参赛。本次决赛赛题有三项,一是用单臂抓取水果和蔬菜,二是用单臂抓取化妆品并放入透明盒,三是用双臂配合清扫桌面垃圾,再倒入收纳筐。决赛共设三轮真机测评,各队取其中一轮最高总分计入排名。
一等奖得主来自“TARS”战队,成员来自福田实验室、西北工业大学、普渡机器人、天津大学,队长吴昊楠是即将从天津大学硕士毕业的00后。由华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及由天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“Vida”“FDU_SONIC”“ai-robot”战队获得三等奖。另有9支队伍获得优秀奖,3支队伍获得观察团特别奖。
这15支决赛队伍,可谓八仙过海,各显神通。
他们中,有第一次组队打比赛的本科生,有转换研究方向的博士生,也有利用下班时间备赛的企业工程师。赛事组委会披露的初赛数据显示,只有20.9%的选手有真机调试经验。大量有算法背景的人,正在寻找一个接触物理世界的入口,蚂蚁灵波具身大模型挑战赛正好给了这个机会。
拿到三等奖的“FDU_SONIC”战队,四名成员都来自复旦大学。队长李新宇读博第五年,博四时从纯软件转向具身智能。为了练习,他买过一次约2000元的双臂机器人,实验中坏了两个舵机,团队就拆修其他机械臂,用零件补缺。初赛备赛后期,他把行军床搬到实验室,在机械臂旁住了近两周。
真机实操不同于实验室。李新宇曾把卡内基梅隆大学机器人研究所的方法移植到比赛模型上,几天后发现效果有限。论文设定的理想条件与比赛的数据限制并不相同,团队随即转向自监督的数据利用,没有大改模型结构,而是让模型提前适应扰动环境。
对他们而言,挑战赛提供了一条与论文不同的研究路径,问题没有现成解法,方案要在统一任务和限制条件下接受检验。
除了学生,参赛队伍中也有跨界而来的行业玩家。
有着多年自动驾驶技术经验的田文善,原本认为底层技术有相似性,从自动驾驶迁移至具身智能会简单一些,没想到初赛成绩只拿到20多分。他拉上了两名相识近十年的业界工程师组成“有手就行”战队,把残差思想、数据增强和模型适应性经验迁移到机械臂上,初赛成绩也一点点提高到70分左右,成功晋级决赛。
“一台机器二三十万元,平时很难有机会完整接触,从数据采集、训练、部署到评测,正好借决赛把全流程走一遍。”他说,总决赛虽然没有拿到理想成绩,但仍是一次难得的实践经验。
具身原生与开源策略并行
抱着类似于田文善心态的参赛者还有很多。毕竟,无论是算力还是真机,对个人和中小开发团队,都是一道难以跨越的门槛。
具身大脑模型从代码走到动作,极其依赖数据处理、训练、仿真评测、硬件适配和现场校准。蚂蚁灵波首席科学家沈宇军表示,一个聪明的机器人大脑面临输入有误差、输出要经受物理交互的检验,物理世界的任务不会等待模型,能解决机器人的问题不等于适合机器人的三重挑战,对此蚂蚁灵波围绕物理作业设计模型能力,打造具身原生大脑,让机器人想得更清楚、摸得更灵敏、干得更利索。
今年,蚂蚁灵波发布具身智能“全栈大脑2.0”,覆盖从感知、预测到执行一整条技术路线。其中视觉基座模型LingBot-Vision和空间感知模型LingBot-Depth让机器人识别边界、判断距离,在透明、反光等复杂环境中也能“看得更清楚”。上周刚刚发布的LingBot-Touch模型,则是面向灵巧手操作的触觉预训练基础模型,机器人通用大脑学会了共享“手感”,进而“摸得更灵敏”。
实时交互世界模型LingBot-World和视频生成基础模型LingBot-Video学习世界如何随时间和动作发生变化,让机器人想得更明白。另外,具身原生世界动作模型LingBot-VA把世界预测和动作生成打通,让机器人边推演、边行动,具身基座模型LingBot-VLA负责听懂指令、生成动作,也让机器人“干得更利索”。
“蚂蚁灵波坚持具身原生核心主张,致力于打造跨构型的机器人行业通用大脑。”蚂蚁灵波首席执行官朱兴表示,“全栈大脑2.0”将空间感知、触觉、环境预测和动作执行拆开研究,分别接受真机验证,再逐步走向更统一的机器人通用大脑。灵波所说的“具身原生”,就是把空间、动作和接触反馈纳入模型训练,让机器人从与物理世界的交互中学习。
与“具身原生”路线并行的是开源策略。早在今年7月,具身基座模型LingBot-VLA 2.0随Hugging Face(抱抱脸)开源机器人平台新版本正式发行,进入数据、训练、评测和运行流程,斯坦福大学等多所高校的研究框架也复用了蚂蚁灵波的开源代码与组件。
这款来自上海的具身大模型,走出灵波的实验室,进入更多研究者的开发流程,接受不同硬件、任务和场景的检验。
开源的价值,不只是把模型权重放到网上,开发者还要跑通流程,也要找到问题。因此,蚂蚁灵波具身大模型挑战赛提供的不只是具身模型LingBot-VLA 2.0。初赛有开源双臂机器人仿真框架RoboTwin 2.0仿真任务、训练与评测脚本,决赛则把真实机器人、数据、算力和技术支持接入同一套开发流程。开发者不必从零训练基座模型,也不必各自寻找设备,可以把精力放在数据增强、泛化能力和动作连续性等具体问题上。
“真机决赛把这些环节压缩在48小时里,也让一些在仿真榜单上不容易暴露的问题尽早出现。”朱兴表示,对开发者来说,真机决赛中出现的失败和偏差,同样具备进一步复盘的价值。
让真实场景参与技术研发
赛场之外,药房、工厂和物流等场景,也在等待更多经过技术验证的具身大脑。
《上海市具身智能产业发展实施方案》明确,面向具身智能发展共性需求,建设算力、实训场、中试、投资、租赁五大平台,夯实具身智能产业发展基础底座。同时要以物流装配、工业制造、商业零售、医疗康养、家政服务等领域为牵引,探索具身智能应用新业态。
今年7月的世界人工智能大会上,蚂蚁灵波与国大药房合作的机器人智慧药房入选十大“镇馆之宝”。乐聚、星海图和蚂蚁灵波自研R-2三台不同构型的机器人,在灵波具身大脑的驱动下根据随机订单分工,连续完成接单、取货和交付。目前,这套方案已在国大药房上海门店投入运营,无须门店为机器人专门改造空间,便可在夜间值班等场景协助药剂师分拣药品。
理解“取哪盒药”只是第一步,机器人还要判断药品位置、货架与人员之间的空间关系,规划连续任务,再把决策转成不同设备都能执行的动作。门店环境也成了研发的一环,比如业务中的异常和偏差,将继续改进模型能力,经过验证的能力,也有机会向更多行业推广。
类似的验证正在向工业和物流延伸。
今年10月,灵波与隆盛唯睿合作建设具身智能机器人创新中心,首期聚焦工业上下料,与德马科技的合作则面向形状、尺寸各异的包裹分拣。两项合作已有明确的任务和合作方,后续进展可从部署工位、持续运行时间和人工接管频次观察。
据悉,蚂蚁灵波正与场景客户、本体厂商、解决方案厂商等合作伙伴,在零售分拣、物流分拣和工业场景开展商业化测试,并联合简智科技等数据伙伴共建标准化数据体系。随着真实作业数据持续回流模型训练,模型、本体、数据与场景进一步融合,推动“一脑多机”走向可规模化落地的产业解决方案。