← 文章 / 云原生与基础设施
signoz 10天前 · 2026-11-12 09:46:19 · 9 阅读

Daytona 沙箱的监控与追踪(使用 OpenTelemetry)

Daytona 在隔离沙箱中运行由 AI 生成的代码。智能体创建沙箱、在其中执行代码、读回文件,然后销毁沙箱。这个循环中有两类常见故障,每类都需要独立的遥测数据:一是沙箱内的任务失败或卡死,二是沙箱生命周期本身变慢或报错。

使用自托管 SigNoz?

大部分步骤相同。只需更新端点并移除采集密钥请求头,具体参见从云端到自托管。

前置条件

  • 一个 SigNoz 实例(云服务或自托管版均可)
  • 一个 Daytona 账号,以及具有 write:sandboxes 权限的 API 密钥
  • Python 3.10 或更高版本,已安装 daytona SDK(SDK 要求至少 3.10)
  • 支持每沙箱网络规则限制的 Daytona 订阅计划。Tier 1 和 Tier 2 账号无法覆盖默认的出口策略,该策略会阻断 SigNoz 连接。详见网络限制。

工作原理

Daytona 提供四种 OpenTelemetry 监控路径。它们互不重叠,请根据具体需求选择。

路径获取的数据所需配置
沙箱内应用插桩智能体执行代码产生的 Span、日志和自定义指标需编写并注入沙箱的代码
Daytona 内置遥测每个沙箱的 CPU、内存、磁盘用量,以及 Toolbox API 的 Span调整一项仪表盘设置
组织配额指标当前组织在配额范围内使用的 CPU、内存、存储和 GPU 资源同一项仪表盘设置
SDK 追踪create、start、stop、delete 以及文件和进程操作的延迟与失败情况客户端开启一个标志位

建议从第一种路径入手。它能展示智能体在沙箱内的具体行为,这是其他途径无法还原的。其余路径已折叠,按需展开即可。四种路径均基于OpenTelemetry,并导出到同一个 SigNoz 端点。

监控 Daytona 沙箱内的任务

这条路径展示你的 agent 做了什么:执行了哪些步骤、每步耗时多少、记录了什么日志、在哪里失败。

步骤 1:在沙箱防火墙中放行 SigNoz

沙箱的出站流量默认全部拒绝。包仓库保持可访问,其余地址都被 Daytona 拦截,所以在放行数据接入主机之前,OTLP exporter 会因 TLS 连接被重置而失败。创建沙箱时传入 domain_allow_list:

run_agent.py
import asyncio
 
from daytona import AsyncDaytona, DaytonaConfig, CreateSandboxFromSnapshotParams
 
 
async def main():
    async with AsyncDaytona(DaytonaConfig(api_key="<your-daytona-api-key>")) as daytona:
        sandbox = await daytona.create(
            CreateSandboxFromSnapshotParams(
                domain_allow_list="ingest.<region>.signoz.cloud,pypi.org,files.pythonhosted.org,*.daytona.io",
                env_vars={
                    "OTEL_EXPORTER_OTLP_ENDPOINT": "https://ingest.<region>.signoz.cloud:443",
                    "OTEL_EXPORTER_OTLP_HEADERS": "signoz-ingestion-key=<your-ingestion-key>",
                    "OTEL_SERVICE_NAME": "<your-service-name>",
                },
            )
        )
        print("created", sandbox.id)
 
 
asyncio.run(main())
展开 21 行

请核实以下值:

  • <region>:你的 SigNoz Cloud 区域。
  • <your-ingestion-key>:你的 SigNoz ingestion key。
  • <your-daytona-api-key>:在 Daytona Dashboard 的 Keys 下创建。
  • <your-service-name>:沙箱遥测数据在 SigNoz 中显示的服务名,也是你在后文验证环节用来过滤的名称。

允许列表最多支持 20 个逗号分隔的域名,并支持 *.example.com 这类通配符。它与 networkBlockAll 和 networkAllowList 互斥,每个沙箱只能设置其中一个。设置允许列表后,默认的放行规则会失效,因此要把代码安装依赖所需的仓库也加进去。

保持 `*.daytona.io` 在允许列表内 沙箱守护进程会向 otel-collector.app.daytona.io 导出自身的遥测数据,Daytona 再从该地址转发到你的端点。如果允许列表中没有包含 *.daytona.io,守护进程的导出器就会被拦截,导致来自 Daytona 内置遥测 的所有信号悄无声息地消失,全程不报任何错误。此时你自己的 span 数据仍会正常到达,容易让人误以为这是 Daytona 侧的问题。 env_vars 的值会传递给沙箱内的所有进程,因此 OpenTelemetry SDK 能直接读取到端点和请求头,无需额外配置。 在沙箱内部运行的代码中埋点 这部分是常规的 OpenTelemetry 配置,除了资源属性部分:资源属性读取的是 Daytona 注入到每个沙箱的环境变量,后续可据此将遥测数据限定在单个沙箱范围内。服务名称无需单独声明,因为 Resource.create() 会直接从步骤 1 中设置的环境里读取 OTEL_SERVICE_NAME。 sandbox_app.py
import logging
import os
 
from opentelemetry import metrics, trace
from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
from opentelemetry.exporter.otlp.proto.http.metric_exporter import OTLPMetricExporter
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.sdk._logs import LoggerProvider, LoggingHandler
from opentelemetry.sdk._logs.export import BatchLogRecordProcessor
from opentelemetry.sdk.metrics import MeterProvider
from opentelemetry.sdk.metrics.export import PeriodicExportingMetricReader
from opentelemetry.sdk.resources import Resource
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
 
# 这里不设置 service.name:Resource.create() 会运行 OpenTelemetry 的
# 环境探测器,自动读取第 1 步中设置的 OTEL_SERVICE_NAME。
resource = Resource.create(
    {
        "daytona.sandbox.id": os.environ.get("DAYTONA_SANDBOX_ID", ""),
        "daytona.organization.id": os.environ.get("DAYTONA_ORGANIZATION_ID", ""),
        "daytona.region.id": os.environ.get("DAYTONA_REGION_ID", ""),
        "daytona.snapshot": os.environ.get("DAYTONA_SANDBOX_SNAPSHOT", ""),
    }
)
 
tracer_provider = TracerProvider(resource=resource)
tracer_provider.add_span_processor(BatchSpanProcessor(OTLPSpanExporter()))
trace.set_tracer_provider(tracer_provider)
 
logger_provider = LoggerProvider(resource=resource)
logger_provider.add_log_record_processor(BatchLogRecordProcessor(OTLPLogExporter()))
logging.getLogger().addHandler(LoggingHandler(logger_provider=logger_provider))
logging.getLogger().setLevel(logging.INFO)
 
reader = PeriodicExportingMetricReader(OTLPMetricExporter())
meter_provider = MeterProvider(resource=resource, metric_readers=[reader])
metrics.set_meter_provider(meter_provider)
 
tracer = trace.get_tracer("agent-work")
meter = metrics.get_meter("agent-work")
tasks = meter.create_counter("sandbox.tasks.completed")
log = logging.getLogger("sandbox-app")
 
with tracer.start_as_current_span("agent.task") as span:
    span.set_attribute("task.kind", "code-execution")
    log.info("starting work")
    with tracer.start_as_current_span("agent.step.compute"):
        total = sum(i * i for i in range(200000))
    log.info("compute finished with total %s", total)
    tasks.add(1, {"task.kind": "code-execution"})
 
tracer_provider.force_flush()
logger_provider.force_flush()
meter_provider.force_flush()

展开 55 行

在进程退出前,刷新全部三个 Provider。沙箱进程生命周期极短,未刷新的数据批次会随进程销毁而丢失。

第 3 步:上传脚本、安装 SDK 并运行

run_agent.py
import asyncio
 
from daytona import AsyncDaytona, DaytonaConfig, CreateSandboxFromSnapshotParams
 
 
async def main():
    async with AsyncDaytona(DaytonaConfig(api_key="<your-daytona-api-key>")) as daytona:
        sandbox = await daytona.create(
            CreateSandboxFromSnapshotParams(
                domain_allow_list="ingest.<region>.signoz.cloud,pypi.org,files.pythonhosted.org,*.daytona.io",
                env_vars={
                    "OTEL_EXPORTER_OTLP_ENDPOINT": "https://ingest.<region>.signoz.cloud:443",
                    "OTEL_EXPORTER_OTLP_HEADERS": "signoz-ingestion-key=<your-ingestion-key>",
                    "OTEL_SERVICE_NAME": "<your-service-name>",
                },
            )
        )
 
        with open("sandbox_app.py", "rb") as f:
            await sandbox.fs.upload_file(f.read(), "/home/daytona/sandbox_app.py")
 
        await sandbox.process.exec(
            "pip install --quiet opentelemetry-sdk opentelemetry-exporter-otlp-proto-http"
        )
 
        result = await sandbox.process.exec("python3 /home/daytona/sandbox_app.py")
        print(result.exit_code, result.result)
 
 
asyncio.run(main())
展开 30 行

若要避免每次运行时都重新安装,可将 OpenTelemetry 包烘焙到快照中,并基于该快照创建沙箱。

追踪 Daytona SDK 操作

SDK 追踪覆盖另一半内容:Daytona 自身创建、启动、停止和删除沙箱所花费的时间,以及哪些调用失败。它在你的应用程序进程中运行,而非在沙箱内,因此上述防火墙规则不适用于此。

在客户端上设置 otel_enabled,并将标准的 OpenTelemetry 变量指向 SigNoz:

复制
export DAYTONA_API_KEY="<your-daytona-api-key>"
export OTEL_EXPORTER_OTLP_ENDPOINT="https://ingest.<region>.signoz.cloud:443"
export OTEL_EXPORTER_OTLP_HEADERS="signoz-ingestion-key=<your-ingestion-key>"
sdk_tracing.py
import asyncio
 
from daytona import AsyncDaytona, DaytonaConfig
 
 
async def main():
    # API key 从上面导出的 DAYTONA_API_KEY 读取。
    async with AsyncDaytona(DaytonaConfig(otel_enabled=True)) as daytona:
        sandbox = await daytona.create()
        await sandbox.process.code_run('print("hello")')
        await daytona.delete(sandbox)
    # 上下文管理器退出时刷新 traces
 
 
asyncio.run(main())

如果你更倾向于用环境变量控制,可以不传构造函数参数,改为设置 DAYTONA_OTEL_ENABLED=true。Daytona 的 TypeScript、Ruby、Go 和 Java SDK 也支持同样的开关,详见 OpenTelemetry Collection。

Python SDK 只内置了 OTLP HTTP exporter,因此 http/protobuf 是唯一支持的协议。不要设置 OTEL_EXPORTER_OTLP_PROTOCOL=grpc。

Spans 在关闭客户端时刷新。异步客户端提供 close() 方法,也支持上下文管理器用法。而同步的 Daytona 客户端两者都没有,其 spans 只能等到解释器退出时才会刷新。

收集 Daytona 内置的遥测数据

只需在控制台里改一个设置,就能开启 Daytona 自身埋点的全部内容:每个 sandbox 的资源指标、toolbox API spans,以及组织配额指标——全程无需写任何代码。

  1. 打开

评论 (0)