研扬科技ARES-240AI/ARES-241AI，开启AIGC部署新时代

 

随着ChatGPT的火爆，AIGC（生成式人工智能）这一新兴概念也备受瞩目。AIGC目前已经在很多领域得到了广泛应用，如新闻报道、广告创意、音乐创作等，它可以模仿人类的写作风格，甚至创造出全新的作品。然而AIGC的用途远非如此简单，随着AIGC通过海量数据训练的大规模神经网络模型（大模型）的模型层数、参数的增加，“思维方式”愈来愈趋向于人脑，使其在金融、制造、医疗等各领域的应用越来越广泛。

 

在训练过程中，大模型需要大量的计算资源来执行复杂的矩阵运算和其他计算任务。为了支持这些计算任务，需要使用高性能的计算设备。同时，还需要有效的算法和架构设计来优化模型的训练速度和效率。为提升整体算力效率和满足差异化需求，大模型一般需要万亿量级参数计算的“智算中心”。现阶段的“智算中心”通常采用云模式，通过共享、共融集结现有算力，万卡平台及配备高效网络交互机制构建大模型训练与推理平台。

 

可以看出，训练一个大模型代价是巨大的，且大模型落地部署的代价也极大，在工业界实际应用中不得不考虑部署的成本，模型轻量化是必不可少的。轻量化的其中一个方法是模型压缩，通过将通用大模型经过剪枝、量化和蒸馏，将大模型进行压缩得到轻量化模型，使其能够使用算力较小的设备进行训练推理，减轻应用单位的部署成本。

 

大模型通过不同的方法得到了有效的轻量化，还是无法阻止模型规模的增加，但是同时也刺激着各大芯片厂商在AI芯片上的研发投入，特别是受众面更广、性价比更高的AI系统化模块（SOM），其算力发展更是一年数倍级的提升。系统化模块（SOM）算力的提升，可处理大模型轻量化压缩后的小模型，有助于实现从基础大模型转向行业微调模型（通用2B），进而细化至场景结合模型（专用2B）的转换。而这些小巧的AI系统化模块是对空间、能耗、环境、安全、响应要求苛刻的边缘端设备的首选。在此过程中边缘端设备发挥着重要的作用来推动AI部署，网络边缘端比过去而言会受到更多重视，也将带来更大的市场。

 

研扬科技致力于为客户提供高质量、高性能的边缘端计算产品，是业界领先的边缘AI解决方案设计制造商。研扬作为英伟达Elite member of the NVIDIA Partner Network（合作伙伴网络精英成员），推出基于NVIDIA Jetson AGX Orin系统化模块（SOM）的两款紧凑型无风扇边缘盒子ARES-240AI和ARES-241AI。ARES-240AI和ARES-241AI将NVIDIA Jetson AGX Orin的超高性能与全新打造的强化耐用机壳相结合，32/64GB版本可选，提供了卓越的275 TOPS 的服务器级算力，在以往需要专业显卡支持才能运行的应用，比如自动汽车驾驶，现在凭借ARES-240AI和ARES-241AI的实时物体侦测、数据加速传输和强大的严苛环境耐受度等特性，可将整个操作移至边缘。这两款边缘盒子是重新定义自主边缘应用进行AI深度学习的理想载体。通过NVIDIA Jetson AGX Orin与其他 NVIDIA Jetson 模组、开发者套件获得同一 NVIDIA Jetson 软件栈的支持，这样您只需一次开发，即可在任意位置进行部署，从而加快产品上市速度。
 

 

NVIDIA Jetson AGX Orin

功能特点

 

01

 

ARES-240AI和ARES-241AI搭载的NVIDIA Jetson AGX Orin，拥有12核ARM v8.2 64位CPU和64 个 Tensor Core 的 2048 核 NVIDIA Ampere 架构 GPU，最高可达 275 TOPS的算力，提供了比Jetson AGX Xavier 高达8倍的AI性能。ARES-240AI和ARES-241AI还具有64GB内存，在W4A16量化中，可完美支持Llama-70B。借助NVIDIA TAO工具套件，以更小的体积在行人检测、3D姿态估计、DashCamNet、车牌识别等模型架构中提供与英伟达专业显卡T4相似甚至更高的推理性能，这将有助于机器人和智能交通中对实时目标检测与多传感器的结合，同时大大增强定位和目标确认精度。

 

适用于严苛环境

功能特点

 

02

 

ARES-240AI和ARES-241AI坚固耐用，采用强固轻型铝合金材料外壳，传导被动散热，可在温度范围为-20°C ~ 55°C (-4°F ~ 131°F)下稳定工作，具有极端温度环境的耐受性，可以出色应对各类工业环境。此外，小巧的尺寸和轻巧的重量让其操作不受空间限制，非常适用于车载、工业AMR和自主采矿车等应用，其物体检测功能可应用于狭窄的、能见度低的工业环境，并提供智慧物流解决方案。

 

高度整合智能接口

功能特点

 

03

 

为了能完整发挥NVIDIA Jetson AGX Orin的强大计算能力，ARES-240AI和ARES-241AI搭载了许多可应用于垂直市场的功能。两款边缘盒子皆配备了多个USB 3.2接口，以及32/64GB LPDDR5x系统内存、64G eMMC并支持5G、Wi-Fi和NVMe的M.2 Key，确保外接硬件如摄影机和传感器等可进行快速的信息传输，使其成为理想的智慧零售解决方案。

 

ARES-240AI区别于ARES-241AI的2个GbE LAN，它具有电源与多功能性相结合的4个PoE LAN端口，可将系统部署在距离其电源更远的地方，并可以通过同一根线缆实现互联网连接和系统的远程监控，从而降低了安装的复杂性，非常适合各种工业自动化场景及自动驾驶领域。

 

接口展示

产品简介

 

01

 

功能 & 区别

产品简介

 

02