NVIDIA Jetson 系列针对CSI摄像头提供Camera SubSystem提高效率

描述

在最开始介绍 Jetbot 的时候有提到,这套智能小车只使用一个 CSI 摄像头作为全部输入的设备,因为这种设备的体积轻巧、功耗较低,并且 NVIDIA Jetson 系列针对 CSI 摄像头提供了一组 Camera SubSystem 来提高效率,非常适合用在智能车方案上的视频图像输入。下表是各种摄像头的简单比较表,这样就能一目了然地理解 Jetbot 为何挑选 CSI 摄像头作为输入设备。

NVIDIA

首先要提示的,Jetson Nano(含2GB)所支持的是 CSI-2 版本接口,早期用在树莓派上 50 元以下的 CSI 接口摄像头是不能使用的,主要以 IMX219 芯片的摄像头为主,价格大约在 100 元以上,因此请勿选购错误。

本文并不花时间去说明 CSI 摄像头的工作原理,主要配合 Jetbot 的安装,以及执行最简单指令去确认您手上的摄像头是否良好可用,否则等整机都装好之后再进行测试,如果遇到不良的摄像头还得再拆卸下来,是一件颇为浪费时间的事情。

将CSI摄像头装到Jetson Nano(含2GB)上

这种接口并不支持即插即用(PnP, Plug and Play)功能,不能像 USB 摄像头可以随时插入 Jetson Nano(含2GB),必须在开机之前就先装好。如果开机后测试发现不成功,就得关机后再检查是否有什么地方安装不正确?或者接触不良的问题,就便利性而言不如 USB 摄像头那么顺手。

安装 CSI 摄像头的接口如下图左方的卡座,要拔取卡笋进行安装时千万小心力度,这个塑料件比较脆弱,一不小心弄断了,不仅无法再安装 CSI 摄像头,也严重影响 Jetson Nano(含2GB)的质保,需要非常小心处理!

卡座上透过一根专属的软排线(如上图右)与 CSI 摄像头进行连接,这个软排线是有方向性的,如上图右所显示,软排线有金属针脚的一面要朝内(核心模块)方向,将排线完整塞进卡座之后,再将卡笋往下压,确保完全压倒底,否则摄像头可能因为排线接触不良而无法正常工作

请参考“菜鸟手册(2):给 Jetson Nano 安装 CSI 摄像头”(https://cloud.tencent.com/developer/article/1421907)一文,有非常详尽的步骤与动态简图能完整表达过程。总而言之,这个摄像头的安装有些细微之处,需要细心处理。一旦安装测试好之后,也尽量不要拆卸。

测试CSI摄像头的运行

由于 Jetbot 会关闭 Ubuntu 图形桌面,因此过去所学到调用 nvarguscamera 指令,去启动 CSI 摄像头并在图形桌面上显示的方法,在这里都不能适用,但是 v4l2-ctl 工具还是能做最基本的检测。

下面的测试都在 Jetbot 上的 Jupyter 环境上进行,也顺便讲解一下 Jupyter 上调用摄像头与显示内容的方法,先熟悉一下这方面的使用是很重要,因为后面所有实验都要用到 CSI 摄像头。

现在从 PC 上的浏览器输入 “:8888” 进入 Jetbot 的 Jupyter 操作界面,然后开启一个命令终端(如下图):

NVIDIA

现在先用 v4l2-ctl 工具检查一下 CSI 摄像头的状况,请在终端输入以下指令:

 

# 如果是Docker版,请先安装v4l-utils工具apt install v4l-utils# 执行检测指令v4l2-ctl --list-devices# 如果检测到 /dev/video0,继续检测这个设备的细部参数v4l2-ctl --device=/dev/video0 --all

 

细部参数就不花时间说明,主要让大家知道当有需要的时候,就可以用 v4l2-ctl 这个工具查看细节。

接下去开始用 Jupyter 的代码,来测试 CSI 摄像头的工作状况。首先创建一个新的“Notebook”(如下图步骤),这是 Jupyter 的工作区域。

NVIDIA

每次新开的 Notebook 都是如下图的状况,会有一个[ ] 与一个方框:

NVIDIA

现在就将下面代码复制到在 Notebook 的方框内里,由于前面“v4l2-ctl”检测到这个摄像头的宽高为(1640, 1232),因此在代码中将摄像头与 widgets 的图形尺寸都设为这两个数字:

 

from jetbot import Camera, bgr8_to_jpegimport ipywidgets.widgets as widgetsfrom IPython.display import displayimport traitletscamera = Camera.instance(width=1640, height=1232)image = widgets.Image(format='jpeg', width=1640, height=1232)camera_link = traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)display(image)

 

然后按一下“Ctrl-Enter”组合键就能执行,正常的话就能在下方看到一个方框显示摄像头所捕捉的动态画面,这样就完成 CSI 摄像头的测试。显示有点小延迟是正常的,毕竟这里选择的是(1640, 1232)尺寸,试试将尺寸都缩小到 1/2 之后,是不是就流畅的多?

如果要停止摄像头播放,就用上面的“+”号添加一个“指令格”,然后在里面输入:

 

camera_link.unlink()

 

然后用“Ctrl-Enter”执行这个指令,这时候显示画面就处于冻结状态,不会播放显示器所捕捉的内容。

假如想要让摄像头再次执行播放,就在下面再添加一个“指令格”,输入:

 

camera_link.link()

 

按下“Ctrl-Enter”执行,就会看到显示框里的内容又开始执行动态播放了。

代码解说

由于 Jupyter 并不支持 OpenGL 功能,无法像图形桌面那样直接播放视频,因此在这里需要使用一些固定的技巧,将视频转成图形方式去显示,上面这段代码可以说是 Jetbot 所有实验启动 CSI 摄像头的标准内容。

这个代码中有几个关键的部分:

1. jetbot的Camera模块:

早期 Jetbot 的摄像头是基于 NVIDIA 的 JetCam 项目,提供对 CSI 与 USB 两类摄像头的支持,不过最新版本中仿佛只对 CSI 摄像头提供支持,并且将底层的代码放在 jetbot/camera 下面的几只 .py 里面。

这使得调用方式变得非常简单,只要将宽与高提供给 Camera.instance (宽,高)就可以,不需要再指定摄像头的编号。

2. ipywidgets:

这个模块为 jupyter 提供非常好用的“互动式小部件”,为原本只提供静态显示的教学环境,注入非常生动与多样化互动的功能。

熟悉图形化开发工具的朋友就应该知道,很多这类工具会提供下拉式选项、滑块调整、复选框、文字框这类的小部件,可以组建较为复杂的仪表盘。

在后面控制 Jetbot 车轮的实验中会使用到多种这类小部件,这里只是用到比较简单的 widgets.image 功能,设定输出为“jpeg”格式图像。

3. iPython.display:

这是一个 python 互动式界面里的显示功能,这里就是将 widget.image 输出的 jpeg 图像显示在 Jupyter。

4. traitlets:

如果从整个英文字去翻译,这个库就被称为“叛徒库”,其实是蛮奇怪的东西。但如果将这个字切割成“trait”与“-let”组合,就能解释成“小特征”的含义,例如 booklet 是小册子、eaglet 是小老鹰的意思。

这个库的功能非常强大,除了能为我们处理“类型检查”之外,还能为动态计算提供预设值、修改属性之后发出更改的事件信号、处理属性值之间的交互影响,为我们简化很多复杂的交错关系。

在上述代码中“camera_link=traitlets.dlink((camera, 'value'), (image, 'value'), transform=bgr8_to_jpeg)”,将摄像头读取的图像与 widgets.image 所创建的 image 对象产生动态关联,并将摄像头图形执行“bgr8_to_jpeg”转换,存放到 image 里,最后再由 display(image)显示出来。

至于 camera_link 物件就能在后面透过.link()与.unlink()执行开关人任务,以实现“暂停”与“再启动”的功能。

这样我们对 Jetbot 摄像头的调用与使用,就有个初步的了解,在后面实验中就能更清楚的感受到这些功能的使用。

原文标题:NVIDIA Jetson Nano 2GB 系列文章(43):CSI摄像头安装与测试

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

  审核编辑:彭菁
 

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分