GPU 原生数据采集为科学仪器实现实时 AI
在科学研究和工业领域,如果能实时分析传感器测量数据,AI 就可以调整流程、指导实验、寻找更优的运行条件。然而,测量数据能以多快的速度被传输和处理,往往决定了仪器的设计方式——从读出电子学到采集时序都受其制约。如果数据处理能跟上传感器的速度,科学仪器厂商还能简化什么?又能实现哪些原本不可能的功能?
NVIDIA DAQIRI 是一个软件定义的数据采集库,可将高带宽的仪器与传感器数据直接接入 GPU 就绪的工作流。开发者无需先把数据写入磁盘,就能在采集过程中实时处理测量结果。作为 NVIDIA Holoscan 平台库的一员,DAQIRI 把专为测量优化的传感器与可编程 GPU 平台连接起来,用于科学分析、AI 推理和反馈控制。
对于已支持 Ethernet 的现有仪器,这为它们增加了处理和反馈能力的可能,详见上一篇文章 Enable Real-Time AI for High-Speed Data Acquisition with NVIDIA DAQIRI。对于新仪器,则可以从设计之初就重新审视采集方面的种种限制。
本文将介绍一款新型电子显微镜相机如何结合 GPU 处理,实现采集过程中的实时分析。随后还会介绍 DAQIRI 的新特性,包括硬件级数据包重排序、库本身的性能与吞吐量提升,以及面向时间敏感数据包处理的低延迟 NIC 轮询模式。
案例研究:将高动态范围成像接入 GPU 处理
由 Lawrence Berkeley 国家实验室 Molecular Foundry 研发的高动态范围电子显微镜相机,正是先进探测器与 GPU 处理协同设计所能带来的可能性的一次展示。
电子能量损失谱(EELS)测量电子与样品相互作用时损失的能量,帮助科学家判断样品中含有哪些元素以及它们如何成键。这类测量中既有强信号也有微弱信号。为了捕捉这种强度差异,传统做法需要先后快速执行两套分别优化的采集流程。
这要求电子光学系统、曝光时序和探测器读出之间的精确协调,得到的测量结果还需对齐和合并,给采集和处理都增加了复杂度。Molecular Foundry 新研发的高动态范围相机则可以同时捕捉强信号和微弱信号。
这一进步简化了实验装置和显微镜光学系统,但代价是每秒产生超过 500 Gbps 的数据——这条数据流必须在采集过程中被实时接收和处理,才能让测量真正发挥作用。这比传统 EELS 数据流快 500 多倍,大幅提升了可供后续处理和分析的原始探测器信息量。
要跟上相机的速度,采集和处理流水线必须与之匹配。这正是 Berkeley Lab 与 NVIDIA 合作的切入点:将相机、DAQIRI 与 GPU 加速处理结合在一起。FPGA 读出电路通过以太网传输探测器数据,DAQIRI 把数据包直接接收到 GPU 内存,GPU 处理则负责拼装和校正探测器帧,再将其还原为能量损失谱。
计算处理还提升了从探测器恢复的空间信息质量,使宽度仅 5 微米的传感器像素也能实现亚微米级的空间分辨率。借助这条流水线,团队可以在测量过程中实时检查数据、调整采集参数和感兴趣区域,同时处理以超过 500 Gbps 涌入的高带宽实时数据流。
这种方案的价值不止于电子显微镜。把传感器直连 GPU 处理,可以从测量中提取更多信息,也让仪器制造商在数据采集、分析和响应上有更大的灵活度。但要实现这些好处,需要高效的数据搬运、随时可处理的有序数据,以及低延迟的反馈通信。
为智能仪器设计采集路径
最新的 DAQIRI 版本新增了硬件包重排、优化的库后端(提升吞吐量),以及直接轮询模式,实现低延迟的包收发。
用 NIC 硬件在数据到达时完成重排
大多数网络依靠协议处理或接收端缓冲来处理乱序数据包,这会带来额外的延迟和内存开销。现在 DAQIRI 可以把包重排任务卸载到受支持的 NVIDIA ConnectX-7 或更新的 NIC 上,把 CPU 和 GPU 资源留给分析。对于兼容的序列号格式,NIC 会解析包头中的序列号字段,并把每个数据负载直接放进内存中的正确位置。应用拿到的就是已组装好的有序数据,无需再单独执行软件重排和拷贝步骤。
这里所说的硬件重排是针对特定接收队列定义的。相关配置决定了如何从包头解析序列号、采用哪种重排方法,以及如何处理丢失的包。
- name: "rx_reorder_seq_1024"
reorder_engine: "hw" # 网卡按序放置数据负载
cyclic_sequence: true # 确认支持循环编号方式
missing_action: “drop” # RX 超时时丢弃不完整批次
reorder_type: "gpu" # 数据包直接送达 GPU 显存
memory_region: "Reorder_RX_GPU"
payload_byte_offset: 42 # 跳过 42 字节的 Ethernet/IPv4/UDP 头
packet_size: 8192 # 每个输出槽位的负载字节数
flow_ids: [201] # 对 RX 流 201 应用重排序
method:
seq_packets_per_batch: # 按单个序列字段重排序
sequence_number:
bit_offset: 336 # 序列号从第 336 位开始
bit_width: 32 # 32 位序列字段
packets_per_batch: 1024 # 每个输出缓冲区包含 1024 个数据包
使用 ibverbs 引擎实现高效采集
DAQIRI 新增了 ibverbs 引擎,用于高速收发原始 Ethernet 数据包。该引擎基于 libibverbs 和 NVIDIA DevX 构建,是原始 Ethernet 流的默认选项。开发者也可以在 DAQIRI 配置中显式添加 engine: “ibverbs” 来启用它,应用 API 的使用方式不受影响。根据在 NVIDIA DGX Spark、NVIDIA IGX Thor 和 NVIDIA RTX PRO 服务器平台上的基准测试,ibverbs 引擎通过降低每包 CPU 开销,在小包(不超过 1024 字节)和极高数据速率(超过 200 Gbps)场景下,单核吞吐量约为此前默认 DPDK 后端的两倍。
通过直接轮询降低反馈延迟
智能仪器可能需要 GPU 分析提供低延迟反馈,以调整采集或控制参数。DAQIRI 的直接轮询模式让应用线程直接收发包,省去了转发给独立 I/O 工作线程的环节,从而降低通信延迟。在有线环回基准测试中,直接轮询模式下的应用层发送到接收延迟已达 2-4 微秒量级。使用 ibverbs 引擎时,开发者可以为控制队列选择直接轮询,同时对高吞吐数据流保留批处理模式。
在对延迟敏感的 TX 和 RX 控制队列上设置 poll_mode: "direct",应用线程即可直接收发包。
# TX/RX queue settings in example configuration file
tx:
queues:
- name: "control_tx"
id: 0
poll_mode: "direct" # App thread submits packets
memory_regions: ["Control_TX"]
rx:
queues:
- name: "control_rx"
id: 0
poll_mode: "direct" # App thread polls received packets
memory_regions: ["Control_RX"]
在同一主机的 TX 和 RX 端口之间通过有线环回,运行直接轮询延迟基准测试。
首先,将配置文件中的硬件地址占位符及其他系统相关设置替换为你系统上的实际值:
sudo ./build/examples/daqiri_bench_raw_latency examples/daqiri_bench_raw_latency_ibverbs.yaml --samples 10000 --warmup 1000 --csv latency.csv
开始使用 GPU 原生数据采集
在构建科学仪器的过程中,GPU 原生数据采集让你能够围绕测量对象和响应方式来设计系统。先进探测器与 GPU 处理可以协同工作,重新定义采集的边界。
DAQIRI 的最新功能为高效传输与组织测量数据、并将分析接入实验控制提供了更多选择,让工程精力可以更多地聚焦于测量质量和科学洞见。
想体验这些功能,可以先阅读 DAQIRI 文档和 DAQIRI 配置示例,然后借助 DAQIRI 基准测试评估你的硬件上的吞吐量和通信延迟。
了解更多相关资源:
- 访问 NVIDIA/daqiri GitHub 仓库
- 查看 DAQIRI + TensorRT 流式推理参考应用
- 为你的硬件生成 DAQIRI 配置