本节主要说明如何通过 pip 方式来安装 RKLLM-Toolkit,用户可以参考以下的具体流程说明完成 RKLLM-Toolkit 工具链的安装。
工具安装包链接: https://pan.baidu.com/s/1y5ZN5sl4e3HJI5d9Imt4pg?pwd=1234(提取码: 1234)。
1.1.1 安装miniforge3工具
为防止系统对多个不同版本的 Python 环境的需求,建议使用 miniforge3 管理 Python 环境。 检查是否安装 miniforge3 和 conda 版本信息,若已安装则可省略此小节步骤。
下载 miniforge3 安装包:
wget -c https://mirrors.bfsu.edu.cn/github-release/conda-forge/miniforge/Release%2025.9.1/Miniforge3-25.9.1-0-Linux-x86_64.sh
安装miniforge3:
chmod 777 Miniforge3-Linux-x86_64.sh bash Miniforge3-Linux-x86_64.sh
1.1.2 创建 RKLLM-Toolkit Conda 环境
进入 Conda base 环境:
source ~/miniforge3/bin/activate
创建一个 Python3.8 版本(建议版本)名为 RKLLM-Toolkit 的 Conda 环境:
conda create -n RKLLM-Toolkit python=3.8
进入 RKLLM-Toolkit Conda 环境:
conda activate RKLLM-Toolkit

1.1.3 安装RKLLM-Toolkit
在 RKLLM-Toolkit Conda 环境下使用 pip 工具直接安装所提供的工具链 whl 包,在安装过程 中,安装工具会自动下载 RKLLM-Toolkit 工具所需要的相关依赖包。
pip install vidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl pip install scipy-1.10.1-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl pip install torchvision-0.18.0-cp38-cp38-manylinux1_x86_64.whl pip install transformers-4.46.3-py3-none-any.whl pip install triton-2.3.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl pip install torch-2.3.0-cp38-cp38-manylinux1_x86_64.whl pip install rkllm_toolkit-1.2.2-cp38-cp38-linux_x86_64.whl
若在安装的过程中,某些文件安装很慢,可以登录python官网单独下载:
https://pypi.org/
执行以下命令没有报错,则安装成功。
全部0条评论
快来发表一下你的评论吧 !