环境感知与理解
融合视觉、空间与设备状态,形成面向任务的场景表征。
让智能体通过身体与环境交互,在持续的感知、推理与行动中理解任务,并把模型能力转化为真实世界中的自主行为。
具身任务要求系统理解多模态输入,也要求每次行动能够及时、安全地改变后续感知。我们关注这一闭环如何在有限资源下稳定运行。
融合视觉、空间与设备状态,形成面向任务的场景表征。
把高层目标分解为可执行动作,并根据实时反馈持续修正。
研究端侧实时推理与多智能体之间的知识、任务和行为协作。
闭环中的每一步都会改变下一步输入,系统需要在动态环境中持续校准自己的理解。
从多模态数据中识别物体、空间关系、状态和任务上下文。
结合环境约束与历史经验,生成可以执行和验证的行为序列。
在端侧完成关键推理和控制,降低远程链路带来的不确定性。
从行动结果与协同反馈中更新策略,提升对新任务和新环境的适应能力。
围绕导航、操作与任务执行建立实时的感知决策闭环。
让智能体理解生产现场变化并与设备、人员协同作业。
通过空间感知与主动服务,让环境能够适应其中的人和任务。
理解人的意图、位置与动作边界,支持更自然可靠的共同任务执行。
智能不仅要理解世界,还要在行动中验证并更新这种理解。
ASCEND Lab · Embodied AI