Daytona 沙箱的监控与追踪(使用 OpenTelemetry)
Daytona 在隔离沙箱中运行由 AI 生成的代码。智能体创建沙箱、在其中执行代码、读回文件,然后销毁沙箱。这个循环中有两类常见故障,每类都需要独立的遥测数据:一是沙箱内的任务失败或卡死,二是沙箱生命周期本身变慢或报错。
使用自托管 SigNoz?大部分步骤相同。只需更新端点并移除采集密钥请求头,具体参见从云端到自托管。
前置条件
- 一个 SigNoz 实例(云服务或自托管版均可)
- 一个 Daytona 账号,以及具有
write:sandboxes权限的 API 密钥 - Python 3.10 或更高版本,已安装
daytonaSDK(SDK 要求至少 3.10) - 支持每沙箱网络规则限制的 Daytona 订阅计划。Tier 1 和 Tier 2 账号无法覆盖默认的出口策略,该策略会阻断 SigNoz 连接。详见网络限制。
工作原理
Daytona 提供四种 OpenTelemetry 监控路径。它们互不重叠,请根据具体需求选择。
| 路径 | 获取的数据 | 所需配置 |
|---|---|---|
| 沙箱内应用插桩 | 智能体执行代码产生的 Span、日志和自定义指标 | 需编写并注入沙箱的代码 |
| Daytona 内置遥测 | 每个沙箱的 CPU、内存、磁盘用量,以及 Toolbox API 的 Span | 调整一项仪表盘设置 |
| 组织配额指标 | 当前组织在配额范围内使用的 CPU、内存、存储和 GPU 资源 | 同一项仪表盘设置 |
| SDK 追踪 | create、start、stop、delete 以及文件和进程操作的延迟与失败情况 | 客户端开启一个标志位 |
建议从第一种路径入手。它能展示智能体在沙箱内的具体行为,这是其他途径无法还原的。其余路径已折叠,按需展开即可。四种路径均基于OpenTelemetry,并导出到同一个 SigNoz 端点。
监控 Daytona 沙箱内的任务
这条路径展示你的 agent 做了什么:执行了哪些步骤、每步耗时多少、记录了什么日志、在哪里失败。
步骤 1:在沙箱防火墙中放行 SigNoz
沙箱的出站流量默认全部拒绝。包仓库保持可访问,其余地址都被 Daytona 拦截,所以在放行数据接入主机之前,OTLP exporter 会因 TLS 连接被重置而失败。创建沙箱时传入 domain_allow_list:
import asyncio
from daytona import AsyncDaytona, DaytonaConfig, CreateSandboxFromSnapshotParams
async def main():
async with AsyncDaytona(DaytonaConfig(api_key="<your-daytona-api-key>")) as daytona:
sandbox = await daytona.create(
CreateSandboxFromSnapshotParams(
domain_allow_list="ingest.<region>.signoz.cloud,pypi.org,files.pythonhosted.org,*.daytona.io",
env_vars={
"OTEL_EXPORTER_OTLP_ENDPOINT": "https://ingest.<region>.signoz.cloud:443",
"OTEL_EXPORTER_OTLP_HEADERS": "signoz-ingestion-key=<your-ingestion-key>",
"OTEL_SERVICE_NAME": "<your-service-name>",
},
)
)
print("created", sandbox.id)
asyncio.run(main())展开 21 行
请核实以下值:
<region>:你的 SigNoz Cloud 区域。<your-ingestion-key>:你的 SigNoz ingestion key。<your-daytona-api-key>:在 Daytona Dashboard 的 Keys 下创建。<your-service-name>:沙箱遥测数据在 SigNoz 中显示的服务名,也是你在后文验证环节用来过滤的名称。
允许列表最多支持 20 个逗号分隔的域名,并支持 *.example.com 这类通配符。它与 networkBlockAll 和 networkAllowList 互斥,每个沙箱只能设置其中一个。设置允许列表后,默认的放行规则会失效,因此要把代码安装依赖所需的仓库也加进去。
otel-collector.app.daytona.io 导出自身的遥测数据,Daytona 再从该地址转发到你的端点。如果允许列表中没有包含 *.daytona.io,守护进程的导出器就会被拦截,导致来自 Daytona 内置遥测 的所有信号悄无声息地消失,全程不报任何错误。此时你自己的 span 数据仍会正常到达,容易让人误以为这是 Daytona 侧的问题。
env_vars 的值会传递给沙箱内的所有进程,因此 OpenTelemetry SDK 能直接读取到端点和请求头,无需额外配置。
在沙箱内部运行的代码中埋点
这部分是常规的 OpenTelemetry 配置,除了资源属性部分:资源属性读取的是 Daytona 注入到每个沙箱的环境变量,后续可据此将遥测数据限定在单个沙箱范围内。服务名称无需单独声明,因为 Resource.create() 会直接从步骤 1 中设置的环境里读取 OTEL_SERVICE_NAME。
sandbox_app.pyimport logging
import os
from opentelemetry import metrics, trace
from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
from opentelemetry.exporter.otlp.proto.http.metric_exporter import OTLPMetricExporter
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.sdk._logs import LoggerProvider, LoggingHandler
from opentelemetry.sdk._logs.export import BatchLogRecordProcessor
from opentelemetry.sdk.metrics import MeterProvider
from opentelemetry.sdk.metrics.export import PeriodicExportingMetricReader
from opentelemetry.sdk.resources import Resource
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
# 这里不设置 service.name:Resource.create() 会运行 OpenTelemetry 的
# 环境探测器,自动读取第 1 步中设置的 OTEL_SERVICE_NAME。
resource = Resource.create(
{
"daytona.sandbox.id": os.environ.get("DAYTONA_SANDBOX_ID", ""),
"daytona.organization.id": os.environ.get("DAYTONA_ORGANIZATION_ID", ""),
"daytona.region.id": os.environ.get("DAYTONA_REGION_ID", ""),
"daytona.snapshot": os.environ.get("DAYTONA_SANDBOX_SNAPSHOT", ""),
}
)
tracer_provider = TracerProvider(resource=resource)
tracer_provider.add_span_processor(BatchSpanProcessor(OTLPSpanExporter()))
trace.set_tracer_provider(tracer_provider)
logger_provider = LoggerProvider(resource=resource)
logger_provider.add_log_record_processor(BatchLogRecordProcessor(OTLPLogExporter()))
logging.getLogger().addHandler(LoggingHandler(logger_provider=logger_provider))
logging.getLogger().setLevel(logging.INFO)
reader = PeriodicExportingMetricReader(OTLPMetricExporter())
meter_provider = MeterProvider(resource=resource, metric_readers=[reader])
metrics.set_meter_provider(meter_provider)
tracer = trace.get_tracer("agent-work")
meter = metrics.get_meter("agent-work")
tasks = meter.create_counter("sandbox.tasks.completed")
log = logging.getLogger("sandbox-app")
with tracer.start_as_current_span("agent.task") as span:
span.set_attribute("task.kind", "code-execution")
log.info("starting work")
with tracer.start_as_current_span("agent.step.compute"):
total = sum(i * i for i in range(200000))
log.info("compute finished with total %s", total)
tasks.add(1, {"task.kind": "code-execution"})
tracer_provider.force_flush()
logger_provider.force_flush()
meter_provider.force_flush()
展开 55 行
在进程退出前,刷新全部三个 Provider。沙箱进程生命周期极短,未刷新的数据批次会随进程销毁而丢失。
第 3 步:上传脚本、安装 SDK 并运行
run_agent.pyimport asyncio
from daytona import AsyncDaytona, DaytonaConfig, CreateSandboxFromSnapshotParams
async def main():
async with AsyncDaytona(DaytonaConfig(api_key="<your-daytona-api-key>")) as daytona:
sandbox = await daytona.create(
CreateSandboxFromSnapshotParams(
domain_allow_list="ingest.<region>.signoz.cloud,pypi.org,files.pythonhosted.org,*.daytona.io",
env_vars={
"OTEL_EXPORTER_OTLP_ENDPOINT": "https://ingest.<region>.signoz.cloud:443",
"OTEL_EXPORTER_OTLP_HEADERS": "signoz-ingestion-key=<your-ingestion-key>",
"OTEL_SERVICE_NAME": "<your-service-name>",
},
)
)
with open("sandbox_app.py", "rb") as f:
await sandbox.fs.upload_file(f.read(), "/home/daytona/sandbox_app.py")
await sandbox.process.exec(
"pip install --quiet opentelemetry-sdk opentelemetry-exporter-otlp-proto-http"
)
result = await sandbox.process.exec("python3 /home/daytona/sandbox_app.py")
print(result.exit_code, result.result)
asyncio.run(main())展开 30 行
若要避免每次运行时都重新安装,可将 OpenTelemetry 包烘焙到快照中,并基于该快照创建沙箱。
追踪 Daytona SDK 操作
SDK 追踪覆盖另一半内容:Daytona 自身创建、启动、停止和删除沙箱所花费的时间,以及哪些调用失败。它在你的应用程序进程中运行,而非在沙箱内,因此上述防火墙规则不适用于此。
在客户端上设置 otel_enabled,并将标准的 OpenTelemetry 变量指向 SigNoz:
export DAYTONA_API_KEY="<your-daytona-api-key>"
export OTEL_EXPORTER_OTLP_ENDPOINT="https://ingest.<region>.signoz.cloud:443"
export OTEL_EXPORTER_OTLP_HEADERS="signoz-ingestion-key=<your-ingestion-key>"
sdk_tracing.pyimport asyncio
from daytona import AsyncDaytona, DaytonaConfig
async def main():
# API key 从上面导出的 DAYTONA_API_KEY 读取。
async with AsyncDaytona(DaytonaConfig(otel_enabled=True)) as daytona:
sandbox = await daytona.create()
await sandbox.process.code_run('print("hello")')
await daytona.delete(sandbox)
# 上下文管理器退出时刷新 traces
asyncio.run(main())如果你更倾向于用环境变量控制,可以不传构造函数参数,改为设置 DAYTONA_OTEL_ENABLED=true。Daytona 的 TypeScript、Ruby、Go 和 Java SDK 也支持同样的开关,详见 OpenTelemetry Collection。
Python SDK 只内置了 OTLP HTTP exporter,因此 http/protobuf 是唯一支持的协议。不要设置 OTEL_EXPORTER_OTLP_PROTOCOL=grpc。
Spans 在关闭客户端时刷新。异步客户端提供 close() 方法,也支持上下文管理器用法。而同步的 Daytona 客户端两者都没有,其 spans 只能等到解释器退出时才会刷新。
收集 Daytona 内置的遥测数据
只需在控制台里改一个设置,就能开启 Daytona 自身埋点的全部内容:每个 sandbox 的资源指标、toolbox API spans,以及组织配额指标——全程无需写任何代码。
