AI基础设施

Ollama 是一款开源本地大语言模型运行工具，支持一键下载并运行 Llama、Qwen、Mistral 等主流开源 LLM，无需依赖云端 API，数据完全在本地处理，保障隐私安全。提供简洁的命令行交互和 REST API，便于集成到开发工作流中，同时支持 macOS、Linux 和 Windows 平台。适用于本地模型调试、离线开发、隐私敏感场景以及 AI 应用的快速原型验证。

llama.cpp 是一个基于C/C++的高性能本地大语言模型推理引擎,无需依赖GPU即可在消费级硬件上高效运行各类开源LLM。它通过量化技术(如GGUF格式)和底层算子优化,在CPU、苹果Apple Silicon以及多种AI加速器上实现低显存占用与快速推理,大幅降低了本地部署大模型的门槛。开发者可借助其简洁的API和丰富的模型生态,在个人电脑、边缘设备或私有服务器上构建离线对话、文本生成与智能代理等应用,兼顾数据隐私与运行效率。

面向AI智能体的记忆系统，提供retain（存储）、recall（检索）、reflect（推理）三大核心操作，支持多策略语义检索与观察自动整合，让AI智能体跨会话持久记忆。

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropi

LiteRT-LM is Google's production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.

AI API 网关平台，支持订阅配额分发与管理

通过标准的 OpenAI API 格式访问所有的大模型，开箱即用

用于大语言模型的高吞吐量和内存高效的推理和服务引擎

免费的开源 OpenAI 替代品

AscendNPU-IR 是基于 MLIR 构建的昇腾 AI 处理器编译中间表示，提供完备的算子表达能力，通过编译优化提升昇腾硬件的计算效率，并支持生态框架集成与深度调优。

DBRX是由Databricks开发的开源大型语言模型，总参数132B，活跃参数36B，采用MoE架构，在推理效率和性能之间取得平衡。支持文本生成、推理、代码编写等任务，可通过Databricks平台或自行部署进行模型推理和集成。

GE后端是基于NVIDIA Triton推理服务器框架实现的，用于对接华为昇腾NPU（Ascend）生态的后端插件。支持快速部署传统CV、NLP等模型的推理服务，利用昇腾硬件加速推理，降低模型服务化门槛。

TorchAir 是华为昇腾推出的开源工具，支持用户基于 PyTorch 框架和 torch_npu 插件在昇腾 NPU 上使用图模式进行推理。它自动将动态图编译为静态图，充分利用 NPU 硬件加速能力，显著提升推理性能并降低显存占用。

VOSK Speech Recognition Toolkit

vLLM-Omni 是由 vLLM 官方开源的全模态推理与服务框架，在 vLLM 基础上扩展了图像、视频、音频的输入与生成能力，同时支持自回归模型与扩散 Transformer。该框架为开发者提供了统一的接口来部署和推理多模态大模型，可用于构建 AI 应用、聊天机器人、图像生成服务等场景。

Rust 编写的终端工具，自动检测硬件信息并推荐适合本地运行的 LLM。从质量、速度、适配度、上下文等维度评估模型，帮助用户选择最合适的本地大语言模型。

基于 iii 引擎构建的 AI 编程 Agent 持久记忆服务，自动获取并压缩 Agent 操作行为，在新会话中注入相关上下文，支持 Claude、Codex 等多种编程助手。

Claude Design 的开源替代方案，支持本地运行和 Vercel 部署，全程无需订阅和账号。可自动检测 PATH 中的 10+ 款 AI 工具，支持 BYOK（自带 API Key），为开发者提供灵活的 AI 设计工作流。

Claude-Mem 通过自动捕获工具使用观察、生成语义摘要并使其可用于未来会话,无缝保留跨会话的上下文。这使 Claude 能够在会话结束或重新连接后,依然保持对项目知识的连续性。

RAGFlow 是领先的开源检索增强生成（RAG）引擎，将前沿 RAG 与 Agent 能力融合。它提供智能文档解析、RAG 流程编排、多 Agent 协作等核心功能，支持构建企业级知识库和 AI 应用工作流。