扭转珊瑚礁减少趋势：CUREE 机器人“深度学习”深海潜水

科学家和工程师们正在联合开发搭载 NVIDIA Jetson 的海底研究助手，以收集有关珊瑚礁、海洋生物和生态系统的数据。

 

 

研究人员正在让机器人“深度学习”深海潜水

 图片来源：Austin Greene, 伍兹霍尔海洋研究所

 

伍兹霍尔海洋研究所（WHOI）自主机器人与感知实验室（WARPLab）和麻省理工学院（MIT）正在开发一种用于研究珊瑚礁及其生态系统的机器人。

 

由 NVIDIA Jetson Orin NX 模块支持的 WARPLab 自主潜水器（AUV）是这一全球最大的私人海洋研究机构做出的一次努力，以扭转珊瑚礁减少的趋势。

 

根据伍兹霍尔海洋研究所珊瑚礁解决方案倡议（WHOI Reef Solutions Initiative）的数据，在过去三十年中，全球约有 25% 的珊瑚礁消失，剩下的珊瑚礁也大多正在濒临灭绝。

 

这台名为 CUREE（Curious Underwater Robot for Ecosystem Exploration，好奇的水下生态探索机器人）的自主潜水器，能够与潜水员一起收集视觉、声音和其他环境数据，帮助研究人员了解人类对珊瑚礁及其周围海洋生物的影响。该机器人借助不断扩展的 NVIDIA Jetson 边缘 AI 功能，建立起珊瑚礁的 3D 模型，并跟踪动植物。它还能通过运行模型来实现自主导航和数据收集。

 

WHOI 的潜水艇曾于 1986 年首次探索泰坦尼克号，研究所目前正在开发用于数据收集的 CUREE 机器人，以扩展这项工作的规模并协助制定缓解策略。该机构还在探索如何使用仿真和数字孪生来更好地复制珊瑚礁的状况，并研究像 NVIDIA Omniverse（用于构建和连接 3D 工具和应用的开发平台）这样的解决方案。

 

NVIDIA 正在 Omniverse 中创建地球的数字孪生，并正在开发世界上最强大的人工智能超级计算机 Earth-2，用于预测气候变化。

 

水下 AI：DeepSeeColor 模型

 

浮潜过的人都知道，在水下看东西可不像在陆地上那么清晰。随着距离的增加，水会削弱水下太阳光的可见光谱，使某些颜色比其他颜色更加暗淡。同时，水中的微粒会造成朦胧的视野，即所谓的反向散射。

 

WARPLab 的一个团队最近发表了一篇关于海底视觉校正的研究论文，帮助缓解了这些问题，并为 CUREE 的工作提供了帮助。这篇论文描述了一个名为 DeepSeeColor 的模型，该模型在海底使用两个卷积神经网络序列减少反向散射，并在 NVIDIA Jetson Orin NX 上实时校正颜色。

 

麻省理工学院机器人学博士候选人、WARPLab AI 开发者 Stewart Jamieson 表示：“NVIDIA GPU 参与了我们的大部分工作流程。一般来说，当有图像进来时，我们就会使用 DeepSeeColor 校正颜色，然后就可以探测鱼类，并将探测结果传送给船上的科学家。”

 

 

水下视觉与听觉：鱼类和珊瑚礁探测

 

CUREE 配备了四个前向摄像头、四个用于捕捉水下声音的水听器以及多个深度传感器和惯性测量单元传感器。由于全球定位系统（GPS）无法在水下工作，因此只能在水面上用它来初始化机器人的起始位置。

 

借助摄像头、水听器和在 Jetson Orin NX 上运行的 AI 模型，CUREE 能够收集数据，并以此制作出珊瑚礁和海底地形的 3D 模型。

 

为了使用水听器收集音频数据，CUREE 需要在关闭马达的情况下漂浮在水中，以避免干扰音频。

 

WARPLab 负责人、WHOI 副研究员 Yogesh Girdhar 表示：“它可以利用不同动物发出的声音，绘制出珊瑚礁的空间声景地图。”他补充道：“我们目前（在后期处理中）可以探测到与生物多样性热点相关的所有叫声所在的位置。”他所指的是海洋生物发出的所有噪声。

 

该团队一直在训练根据音频和视频输入来追踪生物的探测模型。但在探测清晰的音频样本时，有一种生物的噪音干扰特别大。

 

Girdhar 提到：“问题在于水下枪虾的叫声很大。”在陆地上，如何将声音从背景噪音中分离这一经典难题被称为“鸡尾酒会问题”。Girdhar 说：“如果我们能找到一种算法来消除音频中虾叫声的影响就好了，但目前还没有好的解决方案。”

 

麻省理工学院 - WHOI 联合项目博士候选人 Levi Cai 表示，尽管现有的水下数据集很少，但鱼类探测和追踪这一开创性的工作进展很顺利。他表示他们正在采用一种半监督方法进行海洋动物追踪，即通过使用鱼类探测神经网络探测到的目标对追踪进行初始化。该网络在开源的鱼类探测数据集上训练而成，这些数据集使用 CUREE 收集到的图像进行迁移学习并进行微调。

 

Cai 提到：“我们先手动驾驶潜水器，直到看到想要追踪的动物，然后点击它，让半监督追踪器接手。”

 

 

Jetson Orin 利用能效驱动 CUREE

 

能效对于像 CUREE 这样的小型自动潜水器来说至关重要。数据收集所需的计算消耗了约 25% 的可用能源，剩余的能源则用于驱动机器人。

 

在圣约翰岛（美属维尔京群岛岛屿）执行潜水任务的 Girdhar 谈到，根据珊瑚礁任务和观测要求，一般来说，CUREE 充电一次可以工作两个小时。

 

为了提高能效，该团队正在研究使用 AI 来管理传感器，从而使计算资源能够在进行观测时自动唤醒，并在不使用时自动休眠。

 

Girdhar 表示：“我们的机器人很小，所以用在 GPU 计算上的能量就很重要。借助 Jetson Orin NX，我们解决了功耗问题，它还使我们的系统变得更加稳健。”

 

探索如何使用 Isaac Sim 进行改进

 

WARPLab 团队正在尝试使用 NVIDIA Isaac Sim（一款由 Omniverse 提供动力支持、可扩展的机器人仿真应用和合成数据生成工具），以加快 CUREE 自主性和观测能力的开发。

 

Yogesh 表示此举的目标是在 Isaac Sim 中进行简单的仿真，以便了解需要仿真的问题的核心，然后在真实的海底世界中完成训练。他表示：“在珊瑚礁环境中，我们不能依赖声纳，而是需要近距离观察。我们的目标是观察不同的生态系统和正在发生的过程。”

 

了解生态系统并制定缓解策略

 

WARPLab 团队打算将 CUREE 平台提供给他人使用，使人们了解到人类对海底环境造成的影响，并帮助制定缓解策略。

 

研究人员计划学习从数据中发现的模式。Jamieson 表示，CUREE 提供了一个几乎完全自主的数据收集‘科学家’，它可以将研究结果传达给人类研究人员，“比起整天盯着屏幕、驾驶着它手动完成任务，‘科学家’的收获多出了不少。”

 

Girdhar 表示，可以为珊瑚礁等生态系统构建一个网络模型，不同节点对应不同类型的物种和栖息地。所有这些不同的相互作用都在这个网络中发生，研究人员可通过了解这个网络来了解各种动物与其栖息地之间的关系。

 

他表示：“我们希望使用 CUREE AUV 收集到足够多的数据，从而全方位了解生态系统及其如何随着时间的推移而发展，以及它们如何受到港口、农药、碳排放和潜水旅游的影响，这样我们就能更好地设计和落实干预措施，并确定一些问题，比如说假设我们种植新的珊瑚，它们将会如何逐渐改变珊瑚礁。”

 

访问链接进一步了解 NVIDIA Jetson Orin NX：

https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/

Omniverse：

https://www.nvidia.com/en-us/omniverse/

Earth-2：

https://www.nvidia.com/en-us/high-performance-computing/earth-2/

 

*本文中图片来源于伍兹霍尔海洋研究所，如您有任何疑问或需要使用该图片，请联系伍兹霍尔海洋研究所。

 

       GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，关注更多会议及活动信息。

 

---

原文标题：扭转珊瑚礁减少趋势：CUREE 机器人“深度学习”深海潜水

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。