Jetson 百万开发者故事 | 基于 Jetson Nano 的便携式岩石分类检测系统:地质学家的新利器

描述

岩石的探测和识别在地质勘探中是非常重要的环节。那些曾经冒险探险的地质学家们不畏艰辛,深入山林探索未知的地区,收集岩石样本进行分析,为我们更好地认识地球的内部构造作出了巨大的贡献。然而传统的检测算法过分依赖于复杂的特征工程和地质学专业知识,无法满足现代检测的要求。近年来,基于深度学习的算法在目标检测、图像处理和识别等方面取得了重大突破,因此,基于深度学习理论的岩石分类检测系统的研发是必要的。另一方面,使用传统检测方法也会导致检测仪器不够小巧和便捷,有较强的环境局限性,于是,来自湖北工程学院数学与统计学院的学生团队,在导师张天凡的带领下,决定设计一款适合野外作业的便携式岩石分类检测系统。

英伟达

张天凡老师和他的学生团队

首先,这个系统必须具备高度的便携性和稳定性,以适应地质领域的工作性质,同时实现离线检测功能,解决环境局限性问题,使野外作业人员在通讯信号差的地方依靠离线知识库实现快速、准确的检测。同时,该系统还会具有自动识别岩石种类的能力,让非专业人员也可以使用,辅助专业人员可以更为准确地做出判定。

有要求,就有挑战

 

团队面临的问题集中在:一,野外作业环境限制了携带设备的体积与重量,在电池供电的条件下更是限制了相关硬件的性能。需保证受限硬件条件下,兼顾岩石分类系统的性能与精度;二,在野外通讯条件受限的环境下,需要动态更新便携设备中的算法、模型,以提高野外作业的灵活性与适应性。

 

“我们参加了几次由 NVIDIA 开发者社区举办的 Sky Hackathon 大赛后,发现 NVIDIA 提供的 Jetson Nano 比赛平台很符合我们的要求,而且 NVIDIA TAO 工具套件可以帮助我们较快地完成软件上的开发。”张天凡老师表示。

 

搭建原型机

 

团队很快搭建出了原型方案。此装置拟实现的功能与所具特色:一是便携,采用 10.1 寸(265×170)的可触摸电容显示屏,方便野外作业人员携带和操作,减少了外设和负重;二是离线检测,以 Jetson Nano 高性能低功耗嵌入式设备为载体实现离线检测;三是自动识别岩石种类,在后方实验室训练完成的模型可由 NVIDIA TAO 工具套件动态部署到 Jetson Nano 边缘设备,使其能够不断更新自动识别岩石的算法。

 

英伟达

图一 原型机实现功能的总体流程

为了满足“小型-便携”这一基本设计需求,团队成员经过多次修改,最终确定了原型机的硬件设计,即将 NVIDIA Jetson Nano、显示器驱动板、电源和图像传感器进行集成,利用 3D 打印机,制作出了原型产品。

英伟达

图二 原型机的正面

模型训练与部署

 

岩石分类检测系统基于 EffinicentV2 模型,团队使用了 NVIDIA TAO 工具套件中的模型训练工具来训练 EfficientV2 模型,并使用模型转换工具将训练好的模型转换为 TensorRT 格式,以便于在 Jetson Nano 边缘设备上部署和加速推理。此外,团队还使用了 NVIDIA TAO 工具套件中的数据增强工具来增强数据集,以提高模型的鲁棒性和泛化能力。通过不断调整参数和数据集,最后的推理评价为:总体正确率达到 94.36%。

模型训练完成,部署在配置微型摄像头的 NVIDIA  Jetson Nano 上,使用可触摸屏幕与其连接。系统通过摄像头获取需要分析的图像数据,获取后将其输送到系统内部,用户通过 UI 界面与岩石分类模型进行交互,数据被传输给岩石分类模型,模型使用图像处理与识别技术进行识别与分析,最后以图表形式显示岩石分类结果。

英伟达

图三 原型机的系统启动展示

英伟达

图四 原型机的系统分析结果展示

“NVIDIA Jetson Nano 灵活的软件和完整的框架支持,以及较高的内存容量和统一的内存子系统,使其能够同时运行各种不同的网络,达到全高清分辨率,可以让学生们在短时间内尝试各种 AI 模型,并且完成一个 AI 原型产品,高效地锻炼了学生们的 AI 场景落地能力。”张天凡老师评价说:“在 AI 技术不断发展的时代背景下,能让学生们迎头赶上技术发展的大趋势是很重要的!”

 

 

张天凡老师说:“对于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 产品进行开发的开发者们,我想给出的建议是要善于利用 NVIDIA 提供的开发工具和 SDK,例如 NVIDIA TAO 工具套件,NVIDIA DeepStreamNVIDIA NeMo 等,以便根据不同的应用领域,更加高效地进行模型训练、推理和优化。另外,还要密切关注新的 AI 技术和应用趋势,及时掌握最新的开发技能和经验,不断完善和优化自己的 AI 应用方案,为实现更高效、更智能的应用奠定坚实的基础。希望这些建议对 Jetson 嵌入式 AI 产品开发者有所帮助,能够更好地发挥 Jetson 系列产品的潜力,开发出更为出色的 AI 应用。”

 

 

*本文中图片均由湖北工程学院数学与统计学院张天凡老师团队提供,如果您有任何疑问或需要使用本文中图片,请联系该团队。

 


打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分