RAL 2026｜光明实验室提出DS-LABRNav: 基于视觉语言模型的高效陆空两栖机器人导航框架

陆空两栖机器人在救援、侦察和物流等领域具有巨大的应用潜力。然而，现有的自主导航方法大多依赖纯几何表示或基础的语义标签。这意味着，在它们眼中无法区分可穿越的窗帘与坚硬的墙壁。这种缺乏物理常识推理能力的表现，导致机器人面对可穿越障碍时，只能频繁进行不必要的起飞。对于陆空两栖机器人来说，飞行带来的能量消耗远高于地面行驶。近年来，视觉语言模型（VLM）展现出了强大的零样本场景理解能力。但如果让机器人在导航时持续不断地向云端VLM发起查询，又会带来极高的计算延迟，无法满足实时导航的需求。

图1 真实场景与模态决策过程

为了平衡高阶语义推理和低延迟实时性的需求，研究团队提出了DS-LABRNav 框架，首次将视觉语言模型（VLM）集成到陆空两栖机器人的路径规划中。通过事件触发机制和模态引导的地图更新，该框架使机器人在面对柔软障碍物或未知斜坡时，能够选择陆地模态穿过而不是起飞，在一些特定场景最高可节省高达70%的能量。该框架的亮点在于只有当局部规划器发现前方道路被阻挡，并准备规划一条飞行轨迹跨越障碍时（即满足特定的高度阈值），事件触发机制才会被激活。此时，系统会截取一段包含动态物理变化（如窗帘随风摆动）的视觉序列图像，并配合特定的提示词发送给后端的Align-DS-V模型进行推理。并根据图像判断障碍物是柔软可穿越的（输出Land），还是坚硬不可穿越的（输出Fly）。 基于VLM的判断，机器人更新其内部的3D地图，从而引导规划器重新规划出一条更节能的地面轨迹。

图2 DS-LABRNav方法框架

为了验证该框架的有效性，团队自研了一套重3.4kg的陆空两栖机器人硬件平台，并在一系列真实场景中进行了测试。  

面对柔性横幅，传统方法纷纷选择起飞跨越（红色轨迹），而本文方法（绿色轨迹）通过VLM敏锐地察觉到这是软材料，直接在地面模式下穿过，能耗大幅降低。在遇到未知的户外斜坡时，传统基于几何方法由于缺乏对地形材质的理解，将其视作不可逾越的障碍并选择起飞。DS-LABRNav则成功识别了斜坡的地面可行驶属性，全程保持地面行驶模式，与SOTA基线方法相比，实现了约70%的惊人节能效果。

图3 DS-LABRNav与传统方法在室内外场景的导航轨迹对比

表1 不同方法在软质障碍物和斜坡上的性能对比

DS-LABRNav将视觉语言模型用于陆空两栖机器人“模态决策”和“可通行性推理”的导航框架。它通过事件触发机制巧妙地克服了大模型带来的延迟问题，让机器人在复杂的现实世界中真正做到了双模态决策，极大提升了系统的续航和作业效率。  

目前框架仍依赖云端VLM推理，未来工作计划将轻量级的VLM部署到机器人边缘计算设备上，以实现完全离线的语义推理，并应对更加动态复杂的未知环境。  

论文信息：

Title: DS-LABRNav: Land-Air Bimodal Robot Navigation with Traversable Obstacles Base On Vision-Language Model

Authors: Yongjie Li, Wenshuai Yu, Molong Duan, Bo Zhang, Zhou Liu, Qingquan Li

Journal: IEEE Robotics and Automation Letters (RA-L)

Accepted: April 2026