进阶 docs.litellm.ai 2026-11-13 04:16:59 · 7 阅读
第2章 LiteLLM 网关接入 OpenAI Code Interpreter 指南
Code Interpreter
使用 OpenAI 的 Code Interpreter 工具,在安全、沙盒化的环境中执行 Python 代码。
功能 支持情况
LiteLLM Python SDK ✅
LiteLLM AI Gateway ✅
支持的提供商 openai
将 code interpreter 路由至自定义沙盒
代理可以拦截 /v1/responses 端点上的 code_interpreter 请求,并在配置的沙盒(当前为 e2b)中运行代码,而非 OpenAI 的容器,客户端请求无需任何更改。响应结构保持一致(code_interpreter_call 与 message 并列)。详见《Code Interpreter 沙盒拦截》。
LiteLLM AI Gateway
API (OpenAI SDK)
将 OpenAI SDK 指向你的 LiteLLM Gateway:
code_interpreter_gateway.py
```python
from openai import OpenAI
client = OpenAI(
api_key="sk-", # 你的 LiteLLM API key
base_url="http://localhost:4000"
)
response = client.responses.create(
model="openai/gpt-6.1-sol",
tools=[{"type": "code_interpreter"}],
input="计算前 20 个斐波那契数并绘制图表"
)
print(response)
```
Streaming
code_interpreter_streaming.py
```python
from openai import OpenAI
client = OpenAI(
api_key="sk-",
base_url="http://localhost:4000"
)
stream = client.responses.create(
model="openai/gpt-6.1-sol",
tools=[{"type": "code_interpreter"}],
input="生成示例销售数据 CSV 并创建可视化",
stream=True
)
for event in stream:
print(event)
```
获取生成文件内容
get_file_content_gateway.py
```python
from openai import OpenAI
client = OpenAI(
api_key="sk-",
base_url="http://localhost:4000"
)
# 1. 运行 code interpreter
response = client.responses.create(
model="openai/gpt-6.1-sol",
tools=[{"type": "code_interpreter"}],
input="创建散点图并保存为 PNG"
)
# 2. 从响应中获取 container_id
container_id = response.output[0].container_id
# 3. 列出文件
files = client.containers.files.list(container_id=container_id)
# 4. 下载文件内容
for file in files.data:
content = client.containers.files.content(
container_id=container_id,
file_id=file.id
)
with open(file.filename, "wb") as f:
f.write(content.read())
print(f"已下载: {file.filename}")
```
AI Gateway UI
LiteLLM 管理界面内置了 Code Interpreter 支持。
步骤:
进入 LiteLLM UI 的 Playground
选择一个 OpenAI 模型(如 openai/gpt-6.1-sol)
在 Endpoint Type 下选择 /v1/responses 端点
在左侧面板开启 Code Interpreter
发送一条请求执行代码或生成文件的 prompt
UI 会展示:
执行的 Python 代码(可折叠)
内联显示生成的图片
文件的下载链接(CSV 等)
LiteLLM Python SDK
运行 Code Interpreter
code_interpreter.pyimport litellm
response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Generate a bar chart of quarterly sales and save as PNG",
tools=[{"type": "code_interpreter"}]
)
print(response)
获取生成的文件内容 Code Interpreter 运行完成后,可以这样获取生成的文件: get_file_content.pyimport litellm
# 1. Run code interpreter
response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Create a pie chart of market share and save as PNG",
tools=[{"type": "code_interpreter"}]
)
# 2. Extract container_id from response
container_id = response.output[0].container_id # e.g. "cntr_abc123..."
# 3. List files in container
files = litellm.list_container_files(
container_id=container_id,
custom_llm_provider="openai"
)
# 4. Download each file
for file in files.data:
content = litellm.containers.retrieve_container_file_content(
container_id=container_id,
file_id=file.id,
custom_llm_provider="openai"
)
with open(file.filename, "wb") as f:
f.write(content)
print(f"Downloaded: {file.filename}")
相关链接 Containers API - 管理 container Container Files API - 管理 container 内的文件 OpenAI Code Interpreter Docs - OpenAI 官方文档
response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Generate a bar chart of quarterly sales and save as PNG",
tools=[{"type": "code_interpreter"}]
)
print(response)
获取生成的文件内容 Code Interpreter 运行完成后,可以这样获取生成的文件: get_file_content.pyimport litellm
# 1. Run code interpreter
response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Create a pie chart of market share and save as PNG",
tools=[{"type": "code_interpreter"}]
)
# 2. Extract container_id from response
container_id = response.output[0].container_id # e.g. "cntr_abc123..."
# 3. List files in container
files = litellm.list_container_files(
container_id=container_id,
custom_llm_provider="openai"
)
# 4. Download each file
for file in files.data:
content = litellm.containers.retrieve_container_file_content(
container_id=container_id,
file_id=file.id,
custom_llm_provider="openai"
)
with open(file.filename, "wb") as f:
f.write(content)
print(f"Downloaded: {file.filename}")
相关链接 Containers API - 管理 container Container Files API - 管理 container 内的文件 OpenAI Code Interpreter Docs - OpenAI 官方文档