麻省理工等发布: 追随任何物体：实时开放集检测、跟踪和跟随

#论文##开源# arxiv速递 | 麻省理工CSAIL与哈佛SEAS实验室联合发布Follow Anything: 追随任何物体：实时开放集检测、跟踪和跟随 【Follow Anything: Open-set detection, tracking, and following in real-time】 开源项目: GitHub - alaamaalouf/FollowAnything 演示视频: https://www.youtube.com/watch?v=6Mgt3EPytrw 文章链接：http://arxiv.org/abs/2308.05737 从工业自动化到物流和仓储，再到医疗保健和安全，跟踪和跟踪感兴趣的对象对于多个机器人用例至关重要。在本文中，我们提出了一个机器人系统来实时检测、跟踪和跟随任何物体。我们的方法被称为"追随任何物体" ( FAn )，是一个开放的词汇和多模态模型- -它不限于在训练时看到的概念，可以通过文本、图像或点击查询应用于推理时的新类别。 利用大规模预训练模型(基础模型)中丰富的视觉描述符，FAn可以通过将多模态查询(文字、图像、点击)与输入图像序列进行匹配来检测和分割物体。这些被检测和分割的目标在图像帧之间被跟踪，同时考虑遮挡和物体重新出现的情况。我们在一个真实的机器人系统(一种微型飞行器)上演示了FAn，并报告了其在实时控制回路中无缝跟踪感兴趣对象的能力。FAn可以部署在搭载轻量级( 6 ~ 8 GB)显卡的笔记本电脑上，实现每秒6 ~ 20帧的吞吐量。