润和软件基于华为昇腾AI所打造的IntelliCore AI解决方案一体机

 

江苏润和软件股份有限公司（以下简称“润和软件”）基于华为昇腾AI所打造的IntelliCore AI解决方案一体机，提供全方位的AI与数据服务，帮助企业构筑竞争新优势，包括但不限于数据分析与挖掘、智能决策支持、智能客服与语音识别、智能物流与供应链优化等服务，可以快速为客户在零售、制造、金融等领域提供高性能、高效率的智能解决方案。

解决方案产品包1：数字人

润和软件开发了AI数字人Nova。Nova拥有与真人无异的外表和动作，她是一个有用的虚拟助手，能够理解用户的需求并以自然的方式做出响应。作为一个栩栩如生的3D数字人，Nova从皮肤纹理到头发丝的律动光泽，都与真人难辨真假。得益于与各种大语言模型 (LLM) 的强大整合，这位多语言大师可以跨越多种语言进行实时对话。用户只需上传一段短视频，几个小时后，就将拥有自己专属的声音克隆和形象克隆的Nova数字人，而且成本仅为传统方法的一小部分。Nova的应用领域非常广泛，从提供7x24小时的多语言客服服务，到担任国际会议的实时语言翻译，无所不能。她甚至可以成为个性化的语言学习导师，让学习过程变得愉快且高效。

解决方案描述 

从高层次来看，我们的解决方案包括以下内容：

1. 用户上传的3-5分钟时长的视频，系统使用Nova数字人创建技术生成外表高度拟人化的3D数字人形象，并允许用户通过语音或文本与系统交互。

2. 意图路由，用于确定用户的目标并帮助引导执行下游流程。

3. 基于用户的意图确定要采取的操作或调用适当服务的Orchestrator。

4. 多Agent智能涌现技术驱动的问答系统来回答用户提出的针对特定领域或非特定领域提出的问题。该架构包含多项服务，用于创建即插即用模型以减少供应商锁定，下图提供了解决方案包的架构图。

AI数字人Nova解决方案架构图 

数字人设计要素

设计Nova数字人时需要考虑包括外观、声音、语言、个性、交互性，以及上下文和功能多个元素。

1、外貌：Nova的外观是用户首先看到的，而Nova的特征包括年龄、性别、种族、背景、教育、兴趣都会反映到她的形象气质上。在设计时应考虑视觉吸引力、目标受众、包容性和品牌。用户可以根据这些元素设计并拍摄3-5分钟时长的用于训练的视频。

2、个性与互动：根据应用场景的不同，一个基础的尽职尽责的Nova数字人平易近人、好奇、创新、深思熟虑、自信和协作，以鼓励用户与之互动。她可以看到、听到用户的情绪状态。不仅可以回应用户所说的内容，还可以回应他们在对话中表达的情感，从而帮助使交互更加个性化、富有同理心和吸引力。

3、语音和语言：语音、语言和口音会影响用户的感知和交互方式。语言和口音应根据目标受众、他们的语言水平、文化背景和偏好进行调整。Nova在第一个版本中会用英语、日语和中文进行交互。Nova可以使用各种用户定制的或者系统预设的口音与用户沟通。

4、背景与功能：在产生回答时，用户可以根据应用场景定制Nova的背景和功能或“工作角色”。

5、意图路由：意图路由是指根据用户输入的语义将用户输入分类为预定义的类别或意图，意图分类使系统能够确定如何最好地响应用户的请求或将其路由到适当的操作或功能。它有助于引导对话流程，并使系统能够提供相关且准确的响应。

6、多Agent 智能涌现：通过利用多智能体智能涌现能力，Nova具备了综合多个视角和知识领域的能力，使她能够无缝地适应各种用户需求和偏好。这种多智能体方法确保了Nova的交互不仅信息丰富，而且深度个性化，提升了用户的满意度和参与度。

7、检索增强生成：通过高效地从庞大的企业特有数据集和领域特定数据集中检索和整合相关信息，Nova能够提供及时、具有上下文的丰富回复，促进了与用户更有意义和高效的交互。

方案优势

1、形象拟人化：Nova和真人的整体形象和细节保持高度一致。Nova数字人创建的形象在皮肤光泽，头发材质，衣服纹理细节和真实的物体高保真，表情和动作也栩栩如生，如下图所示。

基于Nova数字人算法生成的外观形象

基于Nova数字人算法生成的外观形象

3D 数字人：Nova是 3D 的，可以从各个角度看。

材质纹理的高保真: Nova完美匹配用户上传视频中真实人物的形象，且在皮肤，头发，衣服的材质纹理，招牌动作等细节保持一致。

自然的表情和动作: 即使存在蓬松的头发等不确定细节，Nova也能产生自然的表情和动作。

2、全身肢体动作：Nova能够通过细微的全身身体语言线索，例如姿势、手势和体重转移来传达情，让用户感觉自己正在与真人互动。借助移动能力，Nova可以用于更广泛的应用领域，例如引领/讲解健身课程、展示产品、甚至主演虚拟电影。

人工智能驱动动作：Nova的动作并非预先编程，而是由复杂的 AI 算法生成，这些算法可以解释对话的上下文并相应地调整她的肢体语言。

自然逼真：Nova的动作流畅逼真，模仿人类肢体语言的细微差别。

高度可定制：Nova的外观和动作风格可以根据特定需求和偏好进行调整。

3、智能互动：我们能够利用各种大语言模型 (LLM) 进行实时多语言互动。

实时多语言互动：Nova可以理解和响应多种语言的实时对话。

利用各种 LLM 的优势：我们不会局限于单一的 LLM，而是根据具体任务和语言需求，灵活调用各种商用和私人部署的 LLM。

4、制作效率：

高效便捷：用户只需上传 3-5 分钟的视频，我们可在三个小时内完成普通版人形数字人的训练。

制作成本低：与传统的、制作成本昂贵的（80人天以上）、基于3D 建模的数字人制作相比，我们的高配版人形数字人制作成本控制在2人天。

应用场景

通过结合这些功能，Nova可以应用于以下场景：

多语言客服中心：可以充当多语言客服代表，为全球客户提供 24/7 的支持服务。

国际会议：可以担任实时翻译的角色，消除语言障碍，促进流畅的交流。

语言学习：可以作为个性化的语言学习伙伴，提供沉浸式互动体验。

解决方案产品包2：RAG+

RAG+是在RAG基础上形成的增强形解决方案、集成了企业级应用所需要的AI应用Agent，以及LLMOps。可实现更便捷、更高效、更智能的企业级数据管理服务。

RAG+主要功能模块

数据的对接与管理

IntelliCore AI解决方案一体机上的云原生的数据运维体系在AI应用领域中发挥着关键的作用，为AI的应用提供了从数据处理到模型部署的全面支持，为构建大规模、高效、可靠的多端应用与AI系统提供了必备基础设施。

1. 数据接入与预处理：使用大数据工具接入数据，并对数据进行规范化、特征提取、异常值检测以及去重等操作，提高数据质量，确保AI模型数据输入的准确性。

2. 数据存储与管理：提供定制化、高效、可扩展的数据存储方案以及数据管理工具。

3. 快速访问与实时分析：可通过内存数据库、分布式存储等技术来加速数据检索和分析任务，为实时AI分析任务提供技术基础。

4. 数据映射与集成：自动化抽取数据结构，形成数据关系知识库，具备数据标注能力，为检索器定位数据提供有效依据。

基于云原生的数据运维体系

多模态数据处理

在当前以AI主导的应用模式中，提取多模态数据中所蕴含的信息成为知识管理中的重要一环，IntelliCore AI解决方案一体机可定制多纬度大数据平台，保证良好的多模态数据管理机制。

多模态数据处理过程

垂直领域大模型训练

为适应不同数据条件的各类商业场景，润和软件IntelliCore AI解决方案一体机提供垂直领域大模型训练方案，垂直领域大模型能够针对特定领域的这些特性和模式进行深度学习和理解，从而提供更精确、更相关的预测和结果，提高数据的使用效率。具有如下特点：

1. 为适应不同数据条件的各类商业场景，提供多种模型训练方案。

2. 支持大模型微调，包括不限于各类p-tuning、lora、qlora微调算法。

3. 支持所有开源大模型pretrain和全参数sft。

4. 通过多为了保证模型在特定领域微调后，模型能力不被损失和遗忘，指令微调阶段会同步引入多种任务的指令数据集，例如：问答、创意写作、对话、推理、数学、编码、双语能力等。

5. 多样性的采样算法，平衡各种系统指令上的数据分布，增强的跨任务鲁棒性。通过网格搜索方法确认不同任务的数据比例。

多种训练算法原理图

RAG(检索增强生成) 

相较与开源的RAG方案，润和软件RAG解决方案具有以下技术优势：

1. 增加了预检索环节。

2. 优化了文档分片环节。

3. 通过重排序、结果过滤、与提示词改写等措施提升了LLM处理Prompt时的效率。

RAG技术架构图(黄色为润和软件特有部分)

智能数据问答

IntelliCore AI解决方案一体机基于以上数据平台，提供了数据问答的基础功能。包含文本，视频，以及结构化数据的检索，分为元数据处理与生成、数据召回和答案生成三个部分。

基于IntelliCore AI解决方案一体机的数据问答类应用具有以下优势：

1. 多模态数据融合：RAG+解决方案包可以将图像、文本、视频等多种数据形态融合到一种数据体系中，从而打破多模态数据壁垒。

2. 跨模态特征提取以及交叉检索：从多模态数据中提取关键特征，加深系统对对多模态数据的理解与应用。实现不同模态数据之前的交叉检索。

3. 泛化性强：基于RAG+数据问答的衍生应用不局限于特定领域，各垂直领域均可应用。任何专业领域RAG+都可提供有效支持。

4. 实时更新扩展：不同与传统模型式知识问答，RAG+的检索&生成模式不会受模型训练数据集的大小限制，可保证数据的新鲜度和准确性。

5. 高质量回复：用户不再需要面对冰冷的专业数字，而是由模型进行分析后生成用户更容易理解的语言或以图形表现。

数据精准检索

IntelliCore AI解决方案一体机基于RAG能力提供数据精准检索类应用应用，以下为应用案例chat BI的具体使用优势：

1. 自然语言交互：基于RAG的Chat BI可通过自然语言交互，使得用户可以像与人类聊天一样与系统进行沟通。

2. 智能分析：RAG模块具有强大的生成以及分析和解释对力，以自然语言或者图形化方式帮助用户理解数据背后的意义。

3. 广泛的数据理解力：传统BI只能分析用户已知的数据，而对于RAG来说，平台不存在数据死角，用户可以通过对话和前端Agent工具探索未知数据，发现更多的数据价值。

Chat BI页面截图

决策生成

决策生成功能广泛应用于金融投资决策、风控、金融测试领域，具体应用案例如下：

金融投资决策、风控

该类应用特点：通过分析大量的金融数据、市场趋势和专家观点，决策生成能力能够生成有关投资策略、资产配置和风险评估的建议。对金融交易、客户、风险事件等实体及其复杂关系进行建模和分析，快速做出投资决策和风控措施。

智能测试

A.测试用例生成：人工输入测试用例的需求描述，智能测试平台将自动完成测试代码生成，测试用例执行，测试报告生成，以及测试报告分析等业务。目前可生成用例较人类设计用例覆盖度达到80%以上，以往几小时甚至几天的工作量可以降低到分钟级别；

测试用例生成业务流程图

B.语音控制智能测试：利用AI技术，通过训练和微调的专有NLP大语言模型，实现了通过语音或对话控制实现自动测试的功能。为用户提供了更智能、便捷的测试体验。

a.准确-智能：语音控制功能借助人工智能技术，通过语音识别和自然语言处理实现智能交互。通过对行业大模型进行训练，使之能够准确理解行业相关术语，准确理解客户的语音指令，提供高效、智能的测试体验。

b.简单-高效：语音控制使得测试过程更加高效。用户可以通过简单的语音指令快速执行测试操作，相比于手动操作，语音控制能够节省时间和精力，让用户能够更快速地进行测试行为。

此系统可应用于各种需要进行实时决策的应用中，如股票交易等。

基于RAG+的智能撰写类应用

决策生成功能广泛应用于智能合同生成领域，具体应用案例如下：

1. 智能合同生成

模版库和模板定制：具有丰富且不断补充的模版库，包括各种类似的合同模板，同时用户还可以根据客户的需求定制和修改模板。

合规性检查：包含法律条款大模型(Legal LLM)，可以检查生成的合同条款是否符合法律法规和行业标准，并提供警告和修改建议，

智能优化：智能合同生成可以根据用户输入的需求进行做优化，具有自动补全、错误修正、语法纠正等智能优化功能，帮助用户速生成完整，准确的合同文本。

智能合同生成业务流程图

解决方案产品包3：智能视觉分析方案

智能视觉分析平台（以下简称“RunMind”）是IntelliCore AI解决方案一体机视觉AI解决方案。致力于从AI硬件适配、AI场景落地、AI算法模型三个方面为客户解决AI应用“小众难”问题，助力视觉AI行业发展，具体优势功能如下：

通过构筑行业化、边端化、实时化的智能视觉分析核心技术，RunMind提供一种高复用、标准化的一站式视觉分析解决方案，以便快速开发和部署AI视觉应用，实现场景驱动的智能化广泛应用和规模化落地。

RunMind在应用侧框架

解决方案产品包4：电力变电站智能分析

电力变电站智能分析解决方案是IntelliCore AI解决方案一体机基于国网的标准在电力领域的定制版解决方案，采用国产自主可控软硬件，符合国网标准接口，即插即用；满足实际多样化场景中算法应用：表计读数、状态识别、设备外观缺陷识别、环境检测、作业安全管控、红外热成像分析、一键顺控视频双确认。

主要功能

符合国网远程巡视系统规范；

支持图片分析与视频分析；

支持点位算法调试和结果可视化；

支持算法单点验证与部署可视化。

产品优势

支持表计读数：SF6压力表，双指针油温表，油位计，避雷器泄露电流表，液压表，计数器；

支持状态识别：指示灯状态，刀闸状态，压板状态，开关状、旋钮状态、储能状态；

支持外观缺陷识别：渗漏油、金属锈蚀、异物、表盘表计、呼吸器、绝缘子、设备本体；

支持人员作业管控：未戴安全帽、未穿工作服、未穿安全绳、人员倒地、越线闯入；

支持环境异常识别：烟火、积水、异物入侵、小动物；

支持红外热成像识别：设备温度；

支持一键顺控：隔离开关。

变电站远程智能巡视系统产品整体架构

解决方案产品包5：化工视频监控智能分析

结合化工领域的业务需求以及自身的业务沉淀，润和软件基于IntelliCore AI解决方案一体机边端产品能力，发布了化工视频监控智能分析设备。

方案优势

1. 该产品软件系统采用云边协同方式，业务单元根据业务详细需求设定采集设备和业务逻辑，并将业务流推送到相关的业务人员终端设备上；

2. 集团中心对基础设备（如网络等）、视觉分析设备和算法（如AI设备和AI能力系统）进行统一管理和规划；

3. 系统支持算法能力可扩展，可定制，可提前统一规划建设，以生产条件下的实际场景来驱动智能化建设，让业务人员成为AI智能化的发起者和参与者，满足公司系统和长远的进行业务智能化规划需求，助力

安全生产和高效生产。

化工智能分析系统产品框架图

润和软件IntelliCore AI解决方案一体机和金融大模型FinLP与华为昇腾通过相互兼容性测试认证已与华为昇腾通过相互兼容性测试认证，充分满足相关行业安全性、可靠性、稳定性的应用需求。目前，润和软件的AI服务能力涵盖了模型训练与优化、推理加速、数据处理与分析、自然语言处理、计算机视觉、个性化推荐、智能决策支持、智能安全监控和智能物联网等全方位需求。润和软件致力于为企业提供高效、可靠的智能计算解决方案，帮助客户实现业务创新与提升。

润和软件IntelliCore AI解决方案一体机和金融大模型FinLP与华为昇腾通过相互兼容性测试认证

展望未来，润和软件将持续优化智能计算服务能力，助力企业提升运营效率、降低成本、优化决策，增强竞争力，取得更大商业成功。

审核编辑：刘清