AI基础设施

Ollama 是一款开源本地大语言模型运行工具，支持一键下载并运行 Llama、Qwen、Mistral 等主流开源 LLM，无需依赖云端 API，数据完全在本地处理，保障隐私安全。提供简洁的命令行交互和 REST API，便于集成到开发工作流中，同时支持 macOS、Linux 和 Windows 平台。适用于本地模型调试、离线开发、隐私敏感场景以及 AI 应用的快速原型验证。

llama.cpp 是一个基于C/C++的高性能本地大语言模型推理引擎,无需依赖GPU即可在消费级硬件上高效运行各类开源LLM。它通过量化技术(如GGUF格式)和底层算子优化,在CPU、苹果Apple Silicon以及多种AI加速器上实现低显存占用与快速推理,大幅降低了本地部署大模型的门槛。开发者可借助其简洁的API和丰富的模型生态,在个人电脑、边缘设备或私有服务器上构建离线对话、文本生成与智能代理等应用,兼顾数据隐私与运行效率。

面向AI智能体的记忆系统，提供retain（存储）、recall（检索）、reflect（推理）三大核心操作，支持多策略语义检索与观察自动整合，让AI智能体跨会话持久记忆。

专为机器学习设计的容器化解决方案，简化环境配置与模型部署流程。

【分类：模型、提示词与学习资源】NLTK主要用于支持机器学习框架和算法开发，适合需要模型、提示词和学习资源能力的用户使用。

【分类：模型、提示词与学习资源】Scikit-learn主要用于学习 AI 知识、课程和实践资源，适合需要模型、提示词和学习资源能力的用户使用。

CubeSandbox 是腾讯云开源的 AI Agent 沙箱运行时，主打极速启动、高并发、安全隔离与轻量部署。它专为 AI Agent 场景设计，可在毫秒级拉起隔离执行环境，已在腾讯云 Serverless 计算与 Agent 沙箱平台大规模落地，可作为 AI Agent 执行代码、运行工具调用的底层基础设施。

讯飞星辰 MaaS 平台是科大讯飞面向开发者打造的智能化模型精调服务平台，构建起贯穿 “数据 - 模型 - 服务” 全链路的工程化解决方案。平台提供数据增强处理、模型精调优化、效果量化评估及一键部署的的端到端开发能力；同时兼容主流开源模型生态，支持第三方模型托管。基于自研分布式训练架构与智能算力调度系统，结合 LoRA 等高效参数优化技术，平台实现大模型定制化开发的标准化、工程化，有效降低企业大模型相关业务开发成本与技术门槛，加速推动各行业智能化升级进程。

Semantica 是一个开源的上下文图（Context Graph）与决策智能引擎，为 AI 系统构建可审计、可解释的信任层。它让每个事实都可溯源到来源，每个决策都被记录为一等可审计对象，帮助受监管行业和严肃工程团队解决 AI 系统难以解释、难以审计、难以信任的问题。核心引擎采用 MIT 许可，完全开源可审计，支持自托管运行。

免费的开源 OpenAI 替代品

面向 AI Agent 的通用记忆层（Universal memory layer for AI Agents），Python 开源项目

LabelU 是一款开源的多模态数据标注工具，支持图像、文本、音频等多种数据类型的标注任务。

Open WebUI 是一款面向大语言模型的用户友好交互界面，原生支持 Ollama 和 OpenAI API 兼容的后端服务。它提供开箱即用的对话管理、RAG 文档检索、多模型切换以及可扩展的插件生态，让用户无需编写代码即可完成本地或云端 LLM 的部署与调试。适用于个人开发者搭建私有 ChatGPT 替代方案、企业内部知识库问答以及团队协作中的模型效果评估与 Prompt 调试场景。

Auto Router（Beta）是OpenRouter推出的任务感知路由器，自动分类请求，并按总花费将任务路由至最热门的模型

用于大语言模型的高吞吐量和内存高效的推理和服务引擎

华为开源自研AI框架MindSpore。自动微分、并行加持，一次训练，可多场景部署。支持端边云全场景的深度学习训练推理框架，主要应用于计算机视觉、自然语言处理等AI领域，面向数据科学家、算法工程师等人群。主要具备基于源码转换的通用自动微分、自动实现分布式并行训练、数据处理、以及图执行引擎等功能特性。借助自动微分，轻松训练神经网络。框架开源，华为培育AI开发生态。

让用户微调模型、定制 AI 的工具

WorkMind.AI聚合主流AI模型与学习资源，提供统一访问入口，帮助用户高效对比、选用不同模型，并获取系统化学习路径。

PDF/Office 文档转 Markdown/JSON 工具，面向 Agentic 工作流

OpenRouter免费模型随机路由，智能筛选可用免费模型，获取推理最简单的方式