AI基础设施

传感器与监视系统

llama.cpp 是一个基于C/C++的高性能本地大语言模型推理引擎,无需依赖GPU即可在消费级硬件上高效运行各类开源LLM。它通过量化技术(如GGUF格式)和底层算子优化,在CPU、苹果Apple Silicon以及多种AI加速器上实现低显存占用与快速推理,大幅降低了本地部署大模型的门槛。开发者可借助其简洁的API和丰富的模型生态,在个人电脑、边缘设备或私有服务器上构建离线对话、文本生成与智能代理等应用,兼顾数据隐私与运行效率。

ArcBox 是面向 AI 代理的隔离虚拟机运行环境平台，每个环境拥有独立内核与网络，支持持久运行、临时沙箱和按任务创建，适用于长期会话、CI/CD 及自动化场景。

AirLLM 是一个本地大语言模型推理 Python 库，封装 Hugging Face Transformers 接口，让开发者用少量代码加载本地模型权重并生成文本，适合离线环境和对数据隐私有要求的本地推理场景。

Colibri 是一个纯 C 语言、零依赖的本地大模型推理引擎，专为在现有消费级硬件上运行前沿 MoE（混合专家）架构模型而设计。引擎将模型中数量庞大的专家参数按路由热度分层存储于 VRAM、RAM 和 NVMe 磁盘，通过预取机制隐藏磁盘延迟，让普通机器即可跑动数千亿参数的混合专家模型，且输出与参考实现逐 token 精确对齐。

OpenObserve 是开源可观测性平台，AI Observability 是其面向 AI Agent 与 LLM 的可观测性模块，基于 OpenTelemetry 原生构建，统一采集 LLM 调用、Agent 执行链路、向量检索等遥测数据，支持日志、指标、链路追踪的一体化查询与分析，帮助团队在一个控制台中洞察 AI 系统的交互行为与性能瓶颈。

NVIDIA 开发的 LLM 推理优化引擎，vLLM 的直接竞品

面向电子书阅读设备的开源阅读器平台。

TorchAir 是华为昇腾推出的开源工具，支持用户基于 PyTorch 框架和 torch_npu 插件在昇腾 NPU 上使用图模式进行推理。它自动将动态图编译为静态图，充分利用 NPU 硬件加速能力，显著提升推理性能并降低显存占用。

vLLM-Omni 是由 vLLM 官方开源的全模态推理与服务框架，在 vLLM 基础上扩展了图像、视频、音频的输入与生成能力，同时支持自回归模型与扩散 Transformer。该框架为开发者提供了统一的接口来部署和推理多模态大模型，可用于构建 AI 应用、聊天机器人、图像生成服务等场景。

stable-diffusion.cpp 是纯 C/C++ 实现的扩散模型推理工具集，基于 ggml 框架，支持 Stable Diffusion、Flux 等主流模型。它无需 Python 环境，提供高效的 CPU/GPU 推理能力与量化支持，允许开发者在本地通过 CLI 或库集成方式进行图像生成，适合对部署体积与跨平台性能有严苛要求的场景。

SGLang 是面向大语言模型与多模态模型的高性能推理服务框架

NVIDIA 推出的 Python 推理加速库，专注于生物分子结构模型（如 AlphaFold2/3、Boltz 等）的高性能推理。通过底层优化为生物分子 AI 模型提供加速推理能力，面向基础模型开发者和机器学习研究员，帮助其在 NVIDIA GPU 上高效运行和部署分子结构预测模型。

免费的开源 OpenAI 替代品

DeepSeek开源的大模型内部推理框架

大模型推理KV Cache开源存储社区

official_link=- | DeepSeek 开源的分布式通信库

Ollama 是一款开源本地大语言模型运行工具，支持一键下载并运行 Llama、Qwen、Mistral 等主流开源 LLM，无需依赖云端 API，数据完全在本地处理，保障隐私安全。提供简洁的命令行交互和 REST API，便于集成到开发工作流中，同时支持 macOS、Linux 和 Windows 平台。适用于本地模型调试、离线开发、隐私敏感场景以及 AI 应用的快速原型验证。

LiteRT-LM 是 Google 推出的用于在边缘设备部署大语言模型的高性能推理框架

NVIDIA Triton Inference Server 的通用模型后端，面向需要部署自定义推理逻辑的开发者，可将 C/C++ 代码或任意深度学习框架模型集成到 Triton 统一推理体系中。