赋能机器人调试:ZED 摄像头与 Foxglove 正式集成

电子说

1.4w人已加入

描述

导语:

在节奏飞快的机器人领域,清晰直观的可视化功能是加快开发速度、优化调试流程的关键。基于此需求, 友思特合作伙伴 Stereolabs产品 ZED 摄像头及 ZED SDK,已与机器人开发专用平台 Foxglove 实现全面兼容 — 借助这一专业化工具组合,您可通过全新维度的可视化手段,高效调试并优化机器人系统。

借助 ZED 与 Foxglove 的组合,我们可以实现实时流式传输并可视化呈现丰富的立体视觉和深度数据,为开发过程的每一步带来全新的强大洞察。

ZED

一、集成核心价值 | 为何此次联动至关重要

随着机器人在日益复杂的环境中运行,我们需要更高效的方式洞察机器人的视角 —— 并在系统运行不符合预期时,快速定位到问题根源。

友思特合作伙伴 Stereolabs产品 ZED相机以其行业领先的深度感知、3D测绘和视觉惯性里程计能力而闻广受认可。而 Foxglove 则提供了一套灵活易用的可视化与调试工具集,专为机器人技术设计。

这种强强联合,通过嵌入式 Stereolabs软件算法实现更快速、更全面的可视化,从而加速机器人应用开发,更广泛地推动各行业应用。

二、核心功能解析 | ZED+Foxglove的核心应用

将 ZED 相机与 Foxglove 结合,机器人开发团队可实现以下操作:

实时可视化立体视频与深度数据

将高保真 2D 及 3D 相机数据流无缝流式传输至 Foxglove 可视化工具中。

精准调试机器人感知系统

并列分析深度图、点云、相机图像、定位跟踪结果、三维建图、目标检测及语义信息,快速定位感知或导航问题。

跨 ROS 与非 ROS 架构加速开发

无论你使用机器人操作系统 ROS2、ROS1,还是自定义中间件,ZED 功能灵活的 SDK 都能确保相机数据轻松接入 Foxglove。

集成至复杂工作流,借助 Foxglove 的面板、布局及时间轴功能,将 ZED 传感器数据与其他系统指标相关联,实现全面调试。

三、快速上手指南 | ZED+Foxglove 操作流程

核心流程如下:

连接 ZED 相机

通过 ZED SDK 完成 ZED 2i、ZED Mini 或 ZED X 系列相机的配置。

发布 ZED 数据

基于ROS的应用:借助 ZED ROS 封装器(ZED ROS Wrapper),将相机图像、深度图和点云发布为 ROS 话题。

非ROS应用:通过自定义中间件,利用 WebSocket 将 ZED SDK 与 Foxglove 连接,实现相机图像、深度图和点云的无缝发布。

在 Foxglove 中可视化与调试

打开 Foxglove,连接至你的 ROS 应用 / 自定义中间件,加载相关话题。在灵活易用的 Foxglove 界面(FoxgloveUI)中,可即时可视化立体视频、3D 点云等数据。

实用技巧:你还可以将操作会话录制为 MCAP 文件,以便后续在 Foxglove 中回放和分析!

四、行业实践案例 | SLAM系统调试的高效方案

设想一个研发自主地面机器人的团队。他们通过ZED实时传输Terra(感知系统)在机器人环境导航时采集的所有感知数据。在 Foxglove 中实时可视化这些数据后,团队能快速发现各类问题 — 比如深度读数不准确、地图对齐偏差或障碍物误检等 — 全程无需翻阅繁琐的原始日志。

最终成效如下:
更快的迭代周期

更全面理解机器人感知系统架构

更稳健的感知系统

团队工作效率大幅提升

五、配置要求与操作指南 | 启用ZED+Foxglove

开始搭配使用 ZED 相机与 Foxglove,需参考以下信息:

最低配置要求

ZED SDK 4.0 及以上版本

ROS2 Humble 及以上版本(可选, 仅ROS用户需满足)

Foxglove 2.0 及以上版本

操作指南(将Foxglove 连接至 ROS 2)

第一步:在 Foxglove 中,点击“开始连接”

ZED

第二步:输入URL:ws://localhost:8765 并点击“连接”

ZED

第三步:如果您尚未下载Stereolabs的 Foxglove 布局文件,请先下载后点击右上角的“从文件导入…”进行导入。

ZED

现在,您应该能够看到ZED数据流已实现可视化呈现!

ZED

完成上述几步操作,便可可视化呈现强大的 3D 感知数据,让你的机器人项目实现突破。

六、ZED+Foxglove 赋能未来研发

随着机器人系统的日趋复杂,可视化调试工具已成为不可或缺的核心支撑。友思特合作伙伴 Stereolabs产品 ZED 与 Foxglove 的深度融合,为行业提供了一套强大且灵活的解决方案 — 可将 3D 视觉能力无缝整合至工作流中,最终实现部署效率提升、程序漏洞降低,进而构建更智能的机器人系统。

如需开展相关实践,即刻接入 ZED 相机、启动 Foxglove 工具,以全新维度探索机器人的感知世界!

友思特 ZED系列视觉系统 

ZED

ZED X One 单目相机是灵活集成和定制立体系统或多摄像头环绕视觉的理想选择,特别适合于大型机器。与此同时,它高度通用,提供各种传感器选项以满足应用:4K HDR高分辨率和高灵敏度要求,以及适用于快速移动车辆的全局快门。

ZED

ZED X 系列双目相机可满足机器人导航和自动化设计在前沿工作项目的需求,有ZED X 和ZED X Mini 两款型号(以及一款ZED X One 单目相机)。所有功能均由全局快门传感器和安全的GMSL2连接驱动,ZED X专用于障碍物检测和导航灯应用,ZED X Mini专用于采摘等短距离应用。

ZED

ZED 2 双目视觉相机以超高深度传感和易用性为核心,是在机器人、数字孪生和沉浸式体验边缘工作的团队的首选,两个型号可选,满足不同项目需求:ZED 2i 使开发人员能够构建能够理解周围环境的先进系统,且坚固耐用。ZED Mini 可用于短程应用。

ZED

ZED Box 是强大的嵌入式微型pc,用于边缘人工智能和机器人技术。该产品由全新NVIDIA®Jetson Orin™NX或AGX Orin™模块提供支持,是一款适用于具有挑战性环境的工业AI网关,可选16GB/8GB版本。

审核编辑 黄宇

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分