进阶 docs.litellm.ai 2026-11-13 04:16:59 · 7 阅读

第2章 LiteLLM 网关接入 OpenAI Code Interpreter 指南

Code Interpreter 使用 OpenAI 的 Code Interpreter 工具,在安全、沙盒化的环境中执行 Python 代码。 功能 支持情况 LiteLLM Python SDK ✅ LiteLLM AI Gateway ✅ 支持的提供商 openai 将 code interpreter 路由至自定义沙盒 代理可以拦截 /v1/responses 端点上的 code_interpreter 请求,并在配置的沙盒(当前为 e2b)中运行代码,而非 OpenAI 的容器,客户端请求无需任何更改。响应结构保持一致(code_interpreter_call 与 message 并列)。详见《Code Interpreter 沙盒拦截》。 LiteLLM AI Gateway​ API (OpenAI SDK)​ 将 OpenAI SDK 指向你的 LiteLLM Gateway: code_interpreter_gateway.py ```python from openai import OpenAI client = OpenAI( api_key="sk-", # 你的 LiteLLM API key base_url="http://localhost:4000" ) response = client.responses.create( model="openai/gpt-6.1-sol", tools=[{"type": "code_interpreter"}], input="计算前 20 个斐波那契数并绘制图表" ) print(response) ``` Streaming​ code_interpreter_streaming.py ```python from openai import OpenAI client = OpenAI( api_key="sk-", base_url="http://localhost:4000" ) stream = client.responses.create( model="openai/gpt-6.1-sol", tools=[{"type": "code_interpreter"}], input="生成示例销售数据 CSV 并创建可视化", stream=True ) for event in stream: print(event) ``` 获取生成文件内容​ get_file_content_gateway.py ```python from openai import OpenAI client = OpenAI( api_key="sk-", base_url="http://localhost:4000" ) # 1. 运行 code interpreter response = client.responses.create( model="openai/gpt-6.1-sol", tools=[{"type": "code_interpreter"}], input="创建散点图并保存为 PNG" ) # 2. 从响应中获取 container_id container_id = response.output[0].container_id # 3. 列出文件 files = client.containers.files.list(container_id=container_id) # 4. 下载文件内容 for file in files.data: content = client.containers.files.content( container_id=container_id, file_id=file.id ) with open(file.filename, "wb") as f: f.write(content.read()) print(f"已下载: {file.filename}") ``` AI Gateway UI LiteLLM 管理界面内置了 Code Interpreter 支持。 步骤: 进入 LiteLLM UI 的 Playground 选择一个 OpenAI 模型(如 openai/gpt-6.1-sol) 在 Endpoint Type 下选择 /v1/responses 端点 在左侧面板开启 Code Interpreter 发送一条请求执行代码或生成文件的 prompt UI 会展示: 执行的 Python 代码(可折叠) 内联显示生成的图片 文件的下载链接(CSV 等) LiteLLM Python SDK 运行 Code Interpreter code_interpreter.pyimport litellm

response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Generate a bar chart of quarterly sales and save as PNG",
tools=[{"type": "code_interpreter"}]
)

print(response)
获取生成的文件内容 Code Interpreter 运行完成后,可以这样获取生成的文件: get_file_content.pyimport litellm

# 1. Run code interpreter
response = litellm.responses(
model="openai/gpt-6.1-sol",
input="Create a pie chart of market share and save as PNG",
tools=[{"type": "code_interpreter"}]
)

# 2. Extract container_id from response
container_id = response.output[0].container_id # e.g. "cntr_abc123..."

# 3. List files in container
files = litellm.list_container_files(
container_id=container_id,
custom_llm_provider="openai"
)

# 4. Download each file
for file in files.data:
content = litellm.containers.retrieve_container_file_content(
container_id=container_id,
file_id=file.id,
custom_llm_provider="openai"
)

with open(file.filename, "wb") as f:
f.write(content)
print(f"Downloaded: {file.filename}")
相关链接 Containers API - 管理 container Container Files API - 管理 container 内的文件 OpenAI Code Interpreter Docs - OpenAI 官方文档

评论 (0)