← 文章 / 云原生与基础设施
signoz 26天前 · 2026-10-27 14:34:24 · 19 阅读

使用 OpenTelemetry 和 CloudWatch 收集 EKS Fargate 日志

Fargate 会把容器的 stdout 和 stderr 留在 Fargate 节点上,位于所有 Pod 之外,因此应用日志只能通过以下两种方式之一到达采集器:

  • 通过 OTLP 从应用发送。OpenTelemetry SDK 把日志发送到应用已经在使用的同一个端点:自身 Pod 里的 sidecar,或 deployment collector 的 Service,具体参考 Send Data from Applications to the Collector。这些日志自带写入它们的请求的 trace context,也包含 Kubernetes resource attributes。如何为你的语言开启日志导出,参见 SDK OTLP export。
  • 从 CloudWatch Logs 读取。Fargate 的 log router 会把 stdout 和 stderr 写入 CloudWatch Logs,采集器通过 awscloudwatch receiver 从那里读取。这种方式适合无法修改日志逻辑的应用。注意 CloudWatch Logs 按摄取和存储收费,日志会延迟一个轮询周期到达,且每条记录的 Pod 信息保存在日志体内,而不是 Kubernetes resource attributes。

每个应用只能选择一种方式:两种都用的话,每行日志会出现两次。

下面的步骤介绍如何配置 CloudWatch 方式。

前提条件

  • 已通过 Foundry 安装 EKS Fargate Collection Agent(参见安装指南)。
  • kubectl 已配置并可访问集群,且你的 AWS 账户有创建 IAM policy 和 role 的权限。

第 1 步:创建 aws-observability 命名空间

为 aws-observability 命名空间创建一个 aws-observability-namespace.yaml 文件,log router 会从这个命名空间读取配置:

aws-observability-namespace.yaml
kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled

在文件所在目录下运行:

Copy
kubectl apply -f aws-observability-namespace.yaml

第 2 步:配置 log router

创建一个名为 aws-logging-configmap.yaml 的文件,内容如下所示的 aws-logging ConfigMap。该 ConfigMap 用于将容器日志发送到 CloudWatch Logs:

aws-logging-configmap.yaml
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  flb_log_cw: "false"
  filters.conf: |
    [FILTER]
        Name parser
        Match *
        Key_name log
        Parser crio
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Keep_Log Off
        Buffer_Size 0
        Kube_Meta_Cache_TTL 300s
        K8S-Logging.Parser On
        K8S-Logging.Exclude On
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   kube.*
        region <aws-region>
        log_group_name <LOG_GROUP>
        log_stream_prefix <LOG_STREAM_PREFIX>
        log_retention_days 1
        auto_create_group false
  parsers.conf: |
    [PARSER]
        Name crio
        Format Regex
        Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z

请确认以下配置值:

  • <aws-region>:集群所在的 AWS 区域,例如 us-east-1。
  • <LOG_GROUP>:用于存放容器日志的 CloudWatch Logs 日志组。除非设置 auto_create_group true 让日志路由器自动创建,否则该日志组必须预先存在。
  • <LOG_STREAM_PREFIX>:日志流的名称前缀,例如 from-fluent-bit-。

在包含该文件的目录下执行以下命令:

Copy
kubectl apply -f aws-logging-configmap.yaml

然后,按照 AWS Fargate 日志记录指南 的说明,为 Fargate 配置文件的 Pod 执行角色添加 CloudWatch Logs 权限。

步骤 3:为收集器创建 IAM 角色

为读取日志的 collector 服务账号创建一个 IAM 角色,该角色需附加 CloudWatchReadOnlyAccess 策略,并受该 collector 服务账号(system:serviceaccount:signoz:signoz-collector-deployment)所在集群的 OIDC 提供商信任。这是部署型 collector 的服务账号,其中 signoz 是 casting.yaml 中 metadata.name 字段指定的命名空间。

步骤 4:将日志读取到 collector 中

在 casting.yaml 的部署型 collector 配置中,添加 awscloudwatch 接收器,将其列入 logs 管道,并为部署型 collector 的服务账号添加来自步骤 3 的角色注解:

Copy
spec:
  collector:
    spec:
      config:
        data:
          collector/deployment/deployment.yaml: |
            receivers:
              awscloudwatch:
                region: <aws-region>
                logs:
                  poll_interval: 1m
                  groups:
                    autodiscover:
                      limit: 100
                      prefix: <LOG_GROUP>
                      streams:
                        prefixes: [<LOG_STREAM_PREFIX>]
            service:
              pipelines:
                logs:
                  receivers: [otlp/http, otlp/grpc, k8s_events, awscloudwatch]
  patches:
    - target: collectionagent/collector/deployment/serviceaccount.yaml
      operations:
        - op: add
          path: /metadata/annotations
          value:
            eks.amazonaws.com/role-arn: arn:aws:iam::<account-id>:role/<collector-role>
Expand 22 lines

请验证以下取值:

  • <aws-region>、<LOG_GROUP>、<LOG_STREAM_PREFIX>:来自步骤 2 的值。
  • <account-id>:你的 AWS 账号 ID。
  • <collector-role>:步骤 3 中 IAM 角色的名称。

列表是整体替换的,所以 logs pipeline 需要重新声明,并保留 Foundry 默认的接收器 otlp/http、otlp/grpc 和 k8s_events。在 casting.yaml 所在目录下运行 foundryctl cast -f casting.yaml。

然后重启应用的 Deployment,让日志路由器在其 pod 上启动。在你使用 kubectl 的机器上运行:

Copy
kubectl rollout restart -n <your-namespace> deployment/<your-workload>

请确认以下值:

  • <your-namespace>:应用所在的命名空间。
  • <your-workload>:应用 Deployment 的名称。

新 pod 的事件中会显示日志路由器已启动:

Copy
Normal  LoggingEnabled  3m5s   fargate-scheduler  Successfully enabled logging for pod

在一个轮询周期内,容器日志就会出现在 SigNoz 的 Logs Explorer 中。

故障排查

容器日志未到达 SigNoz

执行第 4 步后,Logs Explorer 中没有出现容器日志。请查看 collector deployment 的日志(它负责运行 awscloudwatch 接收器),方法参见 View the Collector's Logs。日志中会显示 awscloudwatch 接收器报出的错误。

原因:collector 的 service account 缺少 eks.amazonaws.com/role-arn 注解,或者该角色的信任策略中没有包含这个 service account。

解决方法:确认 第 3 步创建的角色信任该 service account,并且注解已正确设置。在你使用 kubectl 的机器上运行:

Copy
kubectl get serviceaccount -n signoz signoz-collector-deployment -o jsonpath='{.metadata.annotations}'

signoz 是来自 metadata.name 的命名空间。收集器在 Pod 启动时获取角色,因此修复后需使用 kubectl rollout restart -n signoz deployment/signoz-collector-deployment 重启。在 OpenTelemetry Operator 下,请重启 deployment/signoz-collector-deployment-collector。

修复完成后,容器日志会在轮询间隔内显示在 日志资源管理器中。

下一步

原始来源: signoz

评论 (0)