学习资源 | NVIDIA TensorRT 全新教程上线

NVIDIA TensorRT 是一个用于高效实现已训练好的深度学习模型推理过程的软件开发工具包，内含推理优化器和运行环境两部分，其目的在于让深度学习模型能够在 GPU 上以更高吞吐量和更低的延迟运行，目前已在业界得到广泛应用与部署。

为了帮助广大开发者更好地了解 TensorRT，NVIDIA GPU 计算专家团队（Devtech）工程师李玮、王猛基于最新的 8.6.1 版本录制了 NVIDIA TensorRT 教程。本系列教程预计 4 小时，包含五个章节，旨在相对全面地介绍 TensorRT。该教程浓缩了 NVIDIA TensorRT 开发团队的技术和经验，以及与客户在合作过程中遇到的各种问题和相应的解决方法，期待开发者们在观看该教程及配套代码库后能有所收获，为学习、科研和工作添砖加瓦。

 

需要注意的是，在未来版本的 TensorRT 中，部分 API 和用法可能发生变化，该教程内容也会随之进行更新，请在配合代码进行学习的时候，注意开发环境和软件版本，避免兼容性方面的问题。

 

 立即扫码充电！  

 

 

TensorRT 教程介绍

     

 

第一部分：TensorRT 简介（时长: 41 分钟）

       ● TensorRT 基本特性和用法● Workflow：使用 TensorRT API 搭建● Workflow：使用 ONNX-Parser● Workflow：使用框架内 TensorRT 接口  本章节将介绍 TensorRT 的基本特性和用法，并介绍使用 TensorRT 的三种常见工作流程。在该章节中，将从头搭建一个可以在 TensorRT 中运行推理计算的程序，方便了解一些基本 API 的用法，然后分别使用 TensorRT 的原生 API 搭建、使用 Parser 解析 ONNX 模型，以及使用 TensorFlow 和 Pytorch 等平台自带的 TensorRT 接口这三种方法将 TensorRT 用起来。  

 

第二部分：开发辅助工具（时长：24 分钟）

       ● trtexec● Netron● polygraphy● onnx-graphsurgeon● Nsight Systems

 

本章节介绍使用 TensorRT 过程中五个常用的开发辅助工具，它们在性能测试、网络可视化、模型迁移、精度检验、计算图编辑、模型整体性能优化等方面都起到了重要的作用。第二章节将逐一介绍这五个工具，并列举在实际工作中使用这些工具的范例和经验。

 

 

第三部分：插件书写（时长：18 分钟）

       ● 使用 Plugin 的简单例子● 关键 API● 结合使用 Parser 和 Plugin● Plugin 高级话题● 使用 Plugin 的例子

 

本章节将着重介绍 TensorRT Plugin 的相关技术，将从一个最简单的标量加法的 Plugin 例子开始，讲解 Plugin 的原理、特性、用法等，然后介绍一个把 Plugin 和 Parser 结合使用的例子，最后补充一些 Plugin 的高级用法，以及在工作中使用 Plugin 的一些案例。

 

 

第四部分: TensorRT 高级用法（时长: 28 分钟）

       ● 多 Optimization Profile● 多 Stream● 多 Context● CUDA Graph● Timing Cache● Refit● Tactic Source● 硬件兼容+版本兼容● 更多工具

 

本章节将介绍 TensorRT 的一些高级话题。这些技术在 TensorRT 的使用过程中不是必须的，但在复杂的实际应用场景中，这些技术对于改善模型性能和内存占用、模型的调试分析、算法精确控制等方面有重要的作用。建议在完成前三个章节的学习后，浏览本章节，将对 TensorRT 的使用起到锦上添花的作用。

 

 

第五部分：常见优化策略（时长: 1 小时 42 分钟）

       ● 概述● 性能分析工具● 性能优化实例  

 

本章节将介绍 TensorRT 工作流程中常见的模型优化方法。该部分内容将深入讲解 TensorRT 相关性能分析工具，并以实例方式讲述曾经遇到过的一个模型在移植、优化、部署的过程中使用的优化策略。

 

 

       

 

 

 

   

TensorRT Hackathon、

生成式 AI 模型优化赛

火热报名中！

   

 

 

 

由阿里云、 NVIDIA 联合举办，由阿里云天池平台组织运营的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型优化赛” 正在火热报名中，截止时间 8 月 14 日上午 10:00。该赛事面向全社会开放，接受个人或不多于三人的组队形式参赛。

扫码报名参赛！

                           

相关资源链接：

   » TensorRT 介绍：https://developer.nvidia.com/tensorrt» TensorRT 下载：https://developer.nvidia.com/nvidia-tensorrt-download

 

» TensorRT Cookbook（本教程配套代码，包含视频以外的更多范例代码）：https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/cookbook

 

» TensorRT 文档：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

 

» C++ API 文档：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/

 

» Python API 文档：https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/  点击 “阅读原文”，查看 TensorRT 全新教程！          扫描下方海报二维码，在 8 月 8 日聆听 NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲，了解 NVIDIA 的新技术，包括屡获殊荣的研究，OpenUSD 开发，以及最新的 AI 内容创作解决方案。  

 

       

---

原文标题：学习资源 | NVIDIA TensorRT 全新教程上线

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。