第3章 调用微调模型指南
调用微调模型
OpenAI
| 模型名称 | 调用方式 | |---|---| | 微调 gpt-4-0613 | `response = completion(model="ft:gpt-4-0613", messages=messages)` | | 微调 gpt-4o-2024-05-13 | `response = completion(model="ft:gpt-4o-2024-05-13", messages=messages)` | | 微调 gpt-3.5-turbo-0125 | `response = completion(model="ft:gpt-3.5-turbo-0125", messages=messages)` | | 微调 gpt-3.5-turbo-1106 | `response = completion(model="ft:gpt-3.5-turbo-1106", messages=messages)` | | 微调 gpt-3.5-turbo-0613 | `response = completion(model="ft:gpt-3.5-turbo-0613", messages=messages)` |
Vertex AI
Vertex AI 上的微调模型有一个数字型的 model/endpoint id。
SDK | PROXY
```python from litellm import completion import os
## 设置环境变量 os.environ["VERTEXAI_PROJECT"] = "hardy-device-38811" os.environ["VERTEXAI_LOCATION"] = "us-central1"
response = completion(
model="vertex_ai/
将 Vertex 凭据添加到环境变量:
``` !gcloud auth application-default login ```
配置 config.yaml:
```yaml
- model_name: finetuned-gemini
litellm_params:
model: vertex_ai/
测试一下:
```bash
curl --location 'https://0.0.0.0:4000/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: