【AIBOX上手指南】快速部署Llama3

Firefly开源团队推出了 Llama3 部署包，提供简易且完善的部署教程，过程无需联网，简单快捷完成本地化部署。

 

 

 Step.1 

 准备部署包

进入 Firefly下载中心，下载 Llama3 部署包。

 

在电脑上以管理员身份打开cmd：

 

 

执行 scp 命令传输部署包至 AIBOX，并输入密码 linaro 获取访问权限。

•  

scp llama3.tar linaro@:~/

其中  为模型实际的文件路径， 是 AIBOX-BM1684X 的 IP 地址

•  

例：scp C:\Users\Administrator\Downloads\llama3.tar linaro@192.168.150.1:~/

 

 

 

 Step.2 

 部署Llama3

完成部署包的传输后，执行登录命令，连接 AIBOX，并输入密码 linaro。
 

•  

ssh linaro@192.168.150.1

 

执行以下解压命令，解压部署包，等到解压完成。

•  

tar -xvf ./llama3.tar

 

解压完成后，执行部署脚本，等待部署完成。

•  

./talk_to_llama3.sh

 

 

 

使用Llama3

 

部署完成后，即可使用 Llama3。

 

Tip：部署过程中无需联网，首次部署 Llama3 需要花费较长时间进行相应的软件安装（3-5min），请耐心等待。