使用 OpenTelemetry 和 CloudWatch 收集 EKS Fargate 日志
Fargate 会把容器的 stdout 和 stderr 留在 Fargate 节点上,位于所有 Pod 之外,因此应用日志只能通过以下两种方式之一到达采集器:
- 通过 OTLP 从应用发送。OpenTelemetry SDK 把日志发送到应用已经在使用的同一个端点:自身 Pod 里的 sidecar,或 deployment collector 的 Service,具体参考 Send Data from Applications to the Collector。这些日志自带写入它们的请求的 trace context,也包含 Kubernetes resource attributes。如何为你的语言开启日志导出,参见 SDK OTLP export。
- 从 CloudWatch Logs 读取。Fargate 的 log router 会把 stdout 和 stderr 写入 CloudWatch Logs,采集器通过
awscloudwatchreceiver 从那里读取。这种方式适合无法修改日志逻辑的应用。注意 CloudWatch Logs 按摄取和存储收费,日志会延迟一个轮询周期到达,且每条记录的 Pod 信息保存在日志体内,而不是 Kubernetes resource attributes。
每个应用只能选择一种方式:两种都用的话,每行日志会出现两次。
下面的步骤介绍如何配置 CloudWatch 方式。
前提条件
- 已通过 Foundry 安装 EKS Fargate Collection Agent(参见安装指南)。
kubectl已配置并可访问集群,且你的 AWS 账户有创建 IAM policy 和 role 的权限。
第 1 步:创建 aws-observability 命名空间
为 aws-observability 命名空间创建一个 aws-observability-namespace.yaml 文件,log router 会从这个命名空间读取配置:
kind: Namespace
apiVersion: v1
metadata:
name: aws-observability
labels:
aws-observability: enabled
在文件所在目录下运行:
Copykubectl apply -f aws-observability-namespace.yaml
第 2 步:配置 log router
创建一个名为 aws-logging-configmap.yaml 的文件,内容如下所示的 aws-logging ConfigMap。该 ConfigMap 用于将容器日志发送到 CloudWatch Logs:
kind: ConfigMap
apiVersion: v1
metadata:
name: aws-logging
namespace: aws-observability
data:
flb_log_cw: "false"
filters.conf: |
[FILTER]
Name parser
Match *
Key_name log
Parser crio
[FILTER]
Name kubernetes
Match kube.*
Merge_Log On
Keep_Log Off
Buffer_Size 0
Kube_Meta_Cache_TTL 300s
K8S-Logging.Parser On
K8S-Logging.Exclude On
output.conf: |
[OUTPUT]
Name cloudwatch_logs
Match kube.*
region <aws-region>
log_group_name <LOG_GROUP>
log_stream_prefix <LOG_STREAM_PREFIX>
log_retention_days 1
auto_create_group false
parsers.conf: |
[PARSER]
Name crio
Format Regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
请确认以下配置值:
<aws-region>:集群所在的 AWS 区域,例如us-east-1。<LOG_GROUP>:用于存放容器日志的 CloudWatch Logs 日志组。除非设置auto_create_group true让日志路由器自动创建,否则该日志组必须预先存在。<LOG_STREAM_PREFIX>:日志流的名称前缀,例如from-fluent-bit-。
在包含该文件的目录下执行以下命令:
Copykubectl apply -f aws-logging-configmap.yaml
然后,按照 AWS Fargate 日志记录指南 的说明,为 Fargate 配置文件的 Pod 执行角色添加 CloudWatch Logs 权限。
步骤 3:为收集器创建 IAM 角色
为读取日志的 collector 服务账号创建一个 IAM 角色,该角色需附加 CloudWatchReadOnlyAccess 策略,并受该 collector 服务账号(system:serviceaccount:signoz:signoz-collector-deployment)所在集群的 OIDC 提供商信任。这是部署型 collector 的服务账号,其中 signoz 是 casting.yaml 中 metadata.name 字段指定的命名空间。
步骤 4:将日志读取到 collector 中
在 casting.yaml 的部署型 collector 配置中,添加 awscloudwatch 接收器,将其列入 logs 管道,并为部署型 collector 的服务账号添加来自步骤 3 的角色注解:
spec:
collector:
spec:
config:
data:
collector/deployment/deployment.yaml: |
receivers:
awscloudwatch:
region: <aws-region>
logs:
poll_interval: 1m
groups:
autodiscover:
limit: 100
prefix: <LOG_GROUP>
streams:
prefixes: [<LOG_STREAM_PREFIX>]
service:
pipelines:
logs:
receivers: [otlp/http, otlp/grpc, k8s_events, awscloudwatch]
patches:
- target: collectionagent/collector/deployment/serviceaccount.yaml
operations:
- op: add
path: /metadata/annotations
value:
eks.amazonaws.com/role-arn: arn:aws:iam::<account-id>:role/<collector-role>Expand 22 lines
请验证以下取值:
<aws-region>、<LOG_GROUP>、<LOG_STREAM_PREFIX>:来自步骤 2 的值。<account-id>:你的 AWS 账号 ID。<collector-role>:步骤 3 中 IAM 角色的名称。
列表是整体替换的,所以 logs pipeline 需要重新声明,并保留 Foundry 默认的接收器 otlp/http、otlp/grpc 和 k8s_events。在 casting.yaml 所在目录下运行 foundryctl cast -f casting.yaml。
然后重启应用的 Deployment,让日志路由器在其 pod 上启动。在你使用 kubectl 的机器上运行:
kubectl rollout restart -n <your-namespace> deployment/<your-workload>
请确认以下值:
<your-namespace>:应用所在的命名空间。<your-workload>:应用 Deployment 的名称。
新 pod 的事件中会显示日志路由器已启动:
CopyNormal LoggingEnabled 3m5s fargate-scheduler Successfully enabled logging for pod
在一个轮询周期内,容器日志就会出现在 SigNoz 的 Logs Explorer 中。
故障排查
容器日志未到达 SigNoz
执行第 4 步后,Logs Explorer 中没有出现容器日志。请查看 collector deployment 的日志(它负责运行 awscloudwatch 接收器),方法参见 View the Collector's Logs。日志中会显示 awscloudwatch 接收器报出的错误。
原因:collector 的 service account 缺少 eks.amazonaws.com/role-arn 注解,或者该角色的信任策略中没有包含这个 service account。
解决方法:确认 第 3 步创建的角色信任该 service account,并且注解已正确设置。在你使用 kubectl 的机器上运行:
kubectl get serviceaccount -n signoz signoz-collector-deployment -o jsonpath='{.metadata.annotations}'
signoz 是来自 metadata.name 的命名空间。收集器在 Pod 启动时获取角色,因此修复后需使用 kubectl rollout restart -n signoz deployment/signoz-collector-deployment 重启。在 OpenTelemetry Operator 下,请重启 deployment/signoz-collector-deployment-collector。
修复完成后,容器日志会在轮询间隔内显示在 日志资源管理器中。