以下是 Llama 3 API 使用教程（基于第三方平台，如 Replicate 或 Hugging Face）：

一、准备工作

1. 获取 API 密钥

   • Replicate 平台：注册 Replicate 账号 → 进入 API Tokens → 创建密钥。
   • Hugging Face 平台：注册 Hugging Face → 进入 Settings → API Tokens → 创建密钥。

2. 安装必要库

   pip install replicate requests transformers

二、通过 Replicate 调用 Llama 3 API

示例 1：Python 代码调用

import replicate

# 设置 API 密钥（从环境变量读取）
import os
os.environ["REPLICATE_API_TOKEN"] = "你的 Replicate API 密钥"

# 调用 Llama 3 模型（例如 8B 版本）
output = replicate.run(
    "meta/meta-llama-3-8b-instruct",
    input={
        "prompt": "请用中文解释人工智能是什么？",
        "max_tokens": 1000,
        "temperature": 0.7
    }
)

# 输出结果
print("".join(output))

示例 2：直接使用 cURL

curl -s -X POST \
  -H "Authorization: Token 你的_API_密钥" \
  -H "Content-Type: application/json" \
  -d '{
    "input": {
      "prompt": "请用中文写一首关于春天的诗",
      "max_tokens": 500
    }
  }' \
  "https://api.replicate.com/v1/models/meta/meta-llama-3-8b-instruct/predictions"

三、通过 Hugging Face 调用 Llama 3

1. 使用 Transformers 库（本地运行需足够显存）

   
   from transformers import AutoTokenizer, AutoModelForCausalLM
   import torch

加载模型和分词器

model_name = "meta-llama/Meta-Llama-3-8B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

生成文本

prompt = "如何学习编程？" inputs = tokenizer(prompt, return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_length=200) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2. **使用 Hugging Face Inference API**
```python
import requests

API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-8B-Instruct"
headers = {"Authorization": "Bearer 你的_HuggingFace_API_密钥"}

def query(prompt):
    data = {"inputs": prompt}
    response = requests.post(API_URL, headers=headers, json=data)
    return response.json()

response = query("用中文总结量子力学的基本原理")
print(response)

四、参数说明

• max_tokens：生成的最大 token 数（控制回答长度）
• temperature：值越小输出越确定（0.1~1.0），值越大越随机
• top_p：核采样概率（默认 0.9，与 temperature 二选一）

五、注意事项

1. 费用：Replicate 按 token 计费，Hugging Face 按请求次数计费。
2. 延迟：API 调用可能有几秒到几十秒的延迟。
3. 模型版本：确认使用 meta-llama-3-8b-instruct（指令微调版）或 meta-llama-3-70b（更大版本）。

希望这个教程对你有帮助！