OpenVINO™ 生成式AI API最全备忘录和调用范例

​

在人工智能领域，生成式AI（Generative AI）正成为推动创新的关键力量。OpenVINO™ GenAI库作为这一领域的佼佼者，为开发者提供了一套完整的工具，以优化和部署生成式AI模型，确保在支持的平台上获得最佳性能。

一，OpenVINO™ GenAI概览

OpenVINO™ GenAI基于OpenVINO™工具和运行时，提供C++/Python API，支持多种生成式AI模型，包括文本生成、图像生成、语音转录与翻译以及图像处理等。以下是OpenVINO™ GenAI支持的主要用例：

文本生成模型：文本摘要、重写、聊天机器人等。

图像生成模型：基于Diffuser架构。

Whisper-based语音转录与翻译。

视觉语言模型（VLMs）：图像处理，如LLaVa等。

二，文本生成模型

1，转换和优化LLMs

从Hugging Face或Model Scope转换和优化LLMs，使用optimum-intel包：

 

pip install optimum-intel[openvino]

 

2，运行模型

在Python中运行模型：

 

import openvino_genai as ov_genai

 

在C++中运行模型：

 

#include "openvino/genai/llm_pipeline.hpp"

 

三，图像生成模型

1，转换和优化模型

使用optimum-intel包从Hugging Face或Model Scope转换和优化模型：

 

pip install optimum-intel[openvino]

 

2，运行模型

在Python中：

 

import openvino_genai as ov_genai

 

在C++中：

 

#include "openvino/genai/image_generation/text2image_pipeline.hpp"

 

四，语音处理模型

1，转换和优化Whisper模型

使用optimum-intel包：

 

pip install optimum-intel[openvino]

 

2，运行模型

在Python中：

 

import openvino_genai as ov_genai

 

在C++中：

 

#include "openvino/genai/whisper_pipeline.hpp"

 

五，图像分析模型

1，转换和优化VLMs

使用optimum-intel包：

 

pip install optimum-intel[openvino]

 

2，运行模型

在Python中：

 

import openvino_genai as ov_genai

 

在C++中：

 

#include "openvino/genai/visual_language/pipeline.hpp"

 

六，总结

OpenVINO™ GenAI为生成式AI的部署提供了强大的支持，无论是文本、图像还是语音处理，都能轻松实现。通过本文的备忘录，您可以快速掌握OpenVINO™ GenAI的安装、模型支持和运行方法，加速您的AI项目开发。

如果你有更好的文章，欢迎投稿！

稿件接收邮箱：[e-mail]

更多精彩内容请关注“算力魔方®”！

审核编辑 黄宇