迅龙软件参加开源中国《数智漫谈》，探讨AI如何迈进大模型时代

 

当前，人工智能技术正加速向大模型时代迈进，在政务、金融、医疗、工业等领域展现出颠覆性潜力。然而，大模型的训练与部署面临算力成本高、技术生态依赖性强、行业落地门槛高三大挑战。

为加速技术普惠，4月 23 日晚，开源中国直播栏目《数智漫谈》邀请华为昇腾生态技术专家、行业先行者以及迅龙软件等，分享一线开发经验，助力开发者与企业用户抓住国产 AI 新红利。

 

该话题围绕“如何让AI既跑得快（性能优化）又用得好（场景适配）”而展开。华为云 HCDE、微软 Insider Dev Tour China姚圣伟针对“昇腾插件化接入vLLM加速大模型推理创新最佳实践”做了主题分享。他表示，基于自主研发的昇腾处理器及CANN异构计算架构，昇腾推出插件化接入方案，与开源推理框架vLLM深度适配，为大模型推理提供高性能、低时延的创新实践。通过该功能，用户可以像实现自定义模型一样，插件化的完成vLLM的硬件支持。用户可以实现自己的Woker、ModelRunner、Attention、Communicator以及自定义算子。

 

迅龙软件技术专家以OrangePi AI Studio Pro为例，分享了迅龙软件在AI方面的探索实践，并现场演示了在OrangePi AI Studio Pro上完成DeepSeek-R1-Distill-Qwen-14B模型的本地化部署。OPi AI Studio Pro是基于2个昇腾 AI 处理器的新一代高性能算力卡，可提供352 TOPS INT8的计算能力，内存提供了96GB和192GB两个版本。

OPi AI Studio Pro融合“通用处理器、AI Core、编解码” 于一体，提供超强 AI 推理、目标检索、视频图片编解码等功能，具有超强算力、超高能效、超大视频解析路数、高性能特征检索等优势，支持高清视频实时分析，可广泛应用于 OCR 识别、目标识别、搜索推荐、内容审核、智慧城市、智慧交通、智慧园区等诸多 AI 应用场景。

 

《数智漫谈》是开源中国推出的一档直播栏目，每月1期，已推出22期。以“深度对话、多元视角、前沿洞察”为核心理念，聚焦IT技术、开源治理、行业趋势与创新实践，通过轻松互动形式搭建开源领域的思想交流平台。