耐能推出最新的边缘AI服务器及内置耐能AI芯片的PC设备

- 耐能的边缘 AI 服务器 KNEO 330 为中小企业带来 30-40% 的成本节省，同兼顾隐私和安全性。- 耐能的边缘 GPT AI 芯片 KL830 可完全应用于 AI PC、USB AI加速棒和边缘服务器,与领先的 GPU 配合使用时，可将其能耗降低 30%。

2024年6月5日，耐能今天于2024年台北国际电脑展(COMPUTEX 2024)上宣布推出最新的边缘AI服务器及一款内置耐能AI芯片的PC设备。

KNEO 330是耐能最新且第二款端侧GPT服务器。首款产品KNEO 300于2023年推出，已经在制造业、金融服务和大学领域拥有企业客户，包括美国斯坦福大学和美国加州大学洛杉矶分校。

 

KNEO 330拥有48TOPS的AI计算能力，最多可支持8个并发连接，支持LLM和Stable Diffusion。在较低的硬件条件下，其RAG精度与云端解决方案相当。KNEO 330大幅降低了小型企业的整体AI成本，降幅可达30%-40%。

与大多数云解决方案相比，KNEO 330实现了更简单的集成和分层权限管理，极大地提高了隐私和安全性。其全面的功能包括多模态GPT的离线版本。

耐能CEO兼创始人刘峻诚表示：“AI近期蓬勃发展，强大的AI模型的发展速度超出了许多专家的预期。平衡AI的道德伦理与盈利驱动是AI真正的挑战。诸如训练AI模型所需的电力和数据以及AI幻觉的潜在问题等担忧都是现实问题。我们相信我们的产品是解决当前GPT ESG和能耗问题的关键。”

 

除了KNEO 330，耐能还推出搭载第三代NPU芯片KL830的PC设备。AI PC的时代已经来临，根据IDC报告，销量预计将从2024年的5000万台增长到2027年的超过1.67亿台，占整体个人电脑市场的60%以上。

同时，据Gartner预测，2024年全球AI个人电脑和AI智能手机的出货量将达到2.95亿台，比2023年的2900万台增长十倍多。

KL830强大的功能和低廉的成本使得低成本AI PC成为可能，将为更广泛的消费者群体带来AI的普及和应用。KL830提供高达10eTOPS@8bit 的综合计算能力(CCP)，峰值功耗仅为2W。这款NPU将使个性化GPT成为现实。

 

当耐能的NPU与领先的GPU配合使用时,可将能耗降低30%，有效延长产品使用寿命。这展示了NPU在高性能但价格亲民的电竞PC领域的未来潜力。

该款芯片已经准备用于AIoT设备，KL830芯片使得定点能保持与浮点精度一致。KL830也可通过USB AI加速棒使用，使得任何设备，无论是宽带路由器、物联网摄像头还是传统电脑，都可以成为边缘AI设备。它提供了10eTOPS的计算能力，并支持许多相对低参数的大型语言模型。

专为开发者设计的KNEO平台是一个易于使用的 Edge GPT 开放平台。耐能通过编译器和"Hugging Face"链接，为用户提供了友好的AI生成内容模型部署方式，用户可根据需求切换不同的Edge GPT。

 

耐能的Edge GPT服务（EGaaS）由开发平台、管理平台和Edge GPT 库组成。Edge GPT即服务（EGaaS）使设备能够在本地处理数据，实现实时决策，无需依赖互联网或云服务器。这种方法有效提高了速度，同时支持多模态功能，并增强了隐私和安全性。

耐能全面的企业级边缘GPT解决方案可以根据每个企业的需求进行定制，为各种定制化场景训练和部署大型语言模型（LLM）。

 

        审核编辑：彭菁