奎景运算科技借助NVIDIA DGX Spark优化生成式AI平台

随着生成式 AI 浪潮席卷全球，奎景运算科技不仅展现加速计算领域的深厚实力，更藉由导入 NVIDIA DGX Spark，成功优化核心产品脱机生成式 AI 平台 “AIthena”，提供对于信息安全与合规性具有极高要求的产业，一个随开即用的高性能本地化 AI 解决方案。

奎景运算科技 CEO 暨共同创办人陈俊杰表示，奎景运算科技在 2023 年切入生成式 AI 产品研发，并采用 NVIDIA 解决方案运行大型语言模型，“我们做计算加速，发现模型越来越大，所需的推理速度和算力也更大，这时候 NVIDIA DGX Spark 作为一个崭新硬件，具有强大计算能力和内存容量，耗电量也比服务器降低许多，就可以帮助我们跑更大、更聪明的模型。”

陈俊杰进一步说明，NVIDIA DGX Spark 拥有 1,000 TOPS 的计算能力，比奎景运算科技前一代使用的硬件还快 4 到 5 倍，且配备 128GB 内存，能支持更复杂的应用场景 ── 这可能是企业关键流程中，可以导入 AI 的重要的一环，通过将这样的硬件条件与 AIthena 整合，奎景运算科技为不能连网、要求机密数据完全隐私的产业提供软件平台解决方案。奎景运算科技营运长暨共同创办人王凡熙补充，“我们还将两台 NVIDIA DGX Spark 互联，不仅提升高速计算应用的扩展性，也能搭载多个 AI 共同协作的 Agent，甚至一起运行更大模型。”

将生成式 AI 平台与 NVIDIA DGX Spark 整合，助企业实现价值创造

奎景运算科技导入 NVIDIA DGX Spark，大幅提升模型计算性能。

奎景运算科技的客户，已充分体验 NVIDIA DGX Spark 带来的应用优势。陈俊杰分享，美国、日本高科技制造业及制药厂商因为拥有庞大机密研发资料，完全不考虑在云端部署，但若要建构自己的数据中心，却需投入大量资本，以确保电源和所有设施完善，“我们提供的软件平台在计算方面比市场加速 30%，在 NVIDIA DGX Spark 硬件的加乘下，又比前一代硬件快 5.2 倍以上，不仅是企业跑大型模型的最佳选择，也让客户无须依赖云端服务器，就可以在一个非常机密且完全没有联机的环境下，建构自己的成功案例，推动先进制程、制药的研发。”

近年来，奎景运算科技持续帮助客户更轻松建构自己的案例、创造新价值。王凡熙观察，许多企业开发 AI 应用时，第一步是串接云端 AI 并打造产品原型，一旦进行落地，通常会发现云、本地两端的 AI 聪明度有所差异，不过 NVIDIA DGX Spark 支持企业在地端整合更聪明的模型，有效解决过去 AI 开发瓶颈。

“我们不断升级加速安全且高性能的生成式 AI 落地应用，导入 NVIDIA DGX Spark 就是我们的第一步，”面对未来布局，陈俊杰指出奎景运算科技不仅串联 NVIDIA DGX Spark 将计算能力翻倍、开始投入分布式架构下的产品优化，也推短期试用方案，用几个月实际体验更安全、高效的本地化 AI 部署。王凡熙强调，奎景运算科技目标成为计算优化的软件平台提供者，协助企业克服影子 AI（Shadow AI）的疑虑，并通过与不同应用生态系的深度合作，一同推动 AI 创新。

NVIDIA DGX Spark 在台湾由丽台科技代理销售，搭载 NVIDIA GB10 Grace Blackwell 超级芯片，以节能轻巧的外形规格提供 1 petaFLOP (每秒千万亿次浮点计算) 的 AI 性能。开发人员可利用预安装的 NVIDIA AI 软件堆栈和 128GB 内存，在本机使用多达 2,000 亿个参数对新一代推理 AI 模型进行原型设计、微调及推理。