日前，世界顶级机械臂大赛SAPIEN ManiSkill Challenge 2021公布了本届参赛队伍成绩以及最终排名，其中京东探索研究院视觉与多媒体实验室的参赛团队?“Silver-Bullet-3D”在两个重要赛道中分别获得“第一”和“第二”的优秀成绩，充分证明了京东探索研究院在计算机视觉领域受到国际认可。

SAPIEN ManiSkill Challenge机械臂大赛是由美国加州大学圣地亚哥分校、伯克利分校以及斯坦福大学联合在国际机器学习顶级会议ICLR 2022上举办的世界重磅赛事。该比赛在完成任务的设计上具有很强的丰富性，可以做到让专业性很高的人工智能技术更容易实施在现实场景的机械臂控制中。本次比赛将控制机械臂完成的任务种类设计为四种，分别是开柜门、移动椅子、开抽屉以及搬水桶，吸引了来自全球知名机构以及高等院校的30多支队伍参与其中。

具体来说“No Interaction Track”，即“采用模仿学习方案”，旨在从预先收集的演示轨迹中有效学习。在满足该技术要求的前提下，参赛团队提出了基于模仿学习的解决方案，主要包括两个模块，分别是直接采用模仿行为的行为克隆以及离线增强学习，同时为了对机械臂和被操纵物体复杂的纹理、结构信息建模，提出了基于Transformer的关系建模网络。值得提及的是在第一阶段和第二阶段官方测试中，该模型在所有四个单项任务中均位列第一，充分证明了京东探索研究院视觉与多媒体实验室在基于模型学习的机械臂控制领域的技术领先性。

此外在满足该项技术要求，即“No Restriction Track”，也可以被释义为“采用规则方案”的过程中，组委会允许本次的参赛队伍基于与仿真环境的交互任意设计控制和规划方案。对此团队提出了基于启发式规则的方案（HRM），将复杂的操作任务分解为一系列子任务，根据在仿真环境中观察到的图像和点云，并基于规则的控制逻辑预测机械臂要完成的操作以实现当前子任务的目标。在官方评测中，该方案以超过第二名23.8%的绝对优势获得第一名。

如今京东探索研究院计算机视觉技术方向专利已授权18项，其团队核心成员在AI顶会发表的论文总量180+篇，尤其在第29届ACM国际多媒体顶级会议（ACM International Conference on Multimedia, 简称ACM Multimedia）上，京东探索研究院凭借多模态交互数字人技术、跨模态分析技术分别斩获最佳演示奖及最佳开源项目奖。

肯定的一点，本次视觉与多媒体实验室参赛团队喜提国际机械臂大赛多个奖项，将京东探索研究院计算机视觉技术水平推上新台阶。从波士顿动力的机器狗风靡全球后，机械臂的出现无疑带来了人机协作的技术创新震撼以及“从0到1”的产业应用变革，未来以3D视觉、机械臂技术为基础打造的全方位智能机械臂操作平台，有望以更加极致的创新能力帮助智慧物流、智能控制、工业互联网、食品安全监管等领域发挥巨大的行业潜力，更快推进数智化产业蓬勃发展。

关键词： 计算机视觉