第10章 Ray Serve:可扩展且可编程的模型服务
Ray Serve:可扩展且可编程的推理服务
Ray Serve 是一个可扩展的模型服务库,用于构建在线推理 API。由于 Serve 不依赖特定框架,你可以用同一套工具链来部署各种服务,从使用 PyTorch、TensorFlow、Keras 等框架构建的深度学习模型,到 Scikit-Learn 模型,乃至任意的 Python 业务逻辑。它针对大语言模型(LLM)服务提供了一系列功能和性能优化,例如响应流式传输、动态请求批处理以及多节点/多 GPU 服务等。
Ray Serve 特别适合模型组合与多模型服务场景,让你能够用纯 Python 代码构建由多个 ML 模型和业务逻辑组成的复杂推理服务。
Ray Serve 基于 Ray 构建,因此可以轻松扩展到多台机器,并支持如小数 GPU 等灵活的资源调度,让你能够共享资源,以低成本部署大量机器学习模型。
快速开始# 安装 Ray Serve 及其依赖项: ``` pip install "ray[serve]" ```
定义一个简单的“Hello World”应用,在本地运行并通过 HTTP 查询它。 ```python import requests from starlette.requests import Request from typing import Dict
from ray import serve
# 1: 定义一个 Ray Serve 应用。 @serve.deployment class MyModelDeployment: def __init__(self, msg: str): # 初始化模型状态:可以是庞大的神经网络权重。 self._msg = msg
def __call__(self, request: Request) -> Dict: return {"result": self._msg}
app = MyModelDeployment.bind(msg="Hello world!")
# 2: 在本地部署应用。 serve.run(app, route_prefix="/")
# 3: 查询应用并打印结果。 print(requests.get("http://localhost:8000/").json()) # {'result': 'Hello world!'} ```
更多示例#
模型组合 使用 Serve 的模型组合 API,将多个部署(deployment)组合为一个单一应用。 ```python import requests import starlette from typing import Dict from ray import serve from ray.serve.handle import DeploymentHandle
# 1. 定义组合图中的模型以及调用它们的入口点。 @serve.deployment class Adder: def __init__(self, increment: int): self.increment = increment
def add(self, inp: int): return self.increment + inp
@serve.deployment class Combiner: def average(self, *inputs) -> float: return sum(inputs) / len(inputs)
@serve.deployment class Ingress: def __init__( self, adder1: DeploymentHandle, adder2: DeploymentHandle, combiner: DeploymentHandle, ): self._adder1 = adder1 self._adder2 = adder2 self._combiner = combiner
async def __call__(self, request: starlette.requests.Request) -> Dict[str, float]: input_json = await request.json() final_result = await self._combiner.average.remote( self._adder1.add.remote(input_json["val"]), self._adder2.add.remote(input_json["val"]), ) return {"result": final_result}
# 2. 构建由模型和入口点组成的应用。 app = Ingress.bind(Adder.bind(increment=1), Adder.bind(increment=2), Combiner.bind()) serve.run(app)
# 3: 查询应用并打印结果。 print(requests.post("http://localhost:8000/", json={"val": 100.0}).json()) # {"result": 101.5} ```
FastAPI 集成 利用 Serve 的 FastAPI 集成优雅地处理 HTTP 解析和校验。 ```python import requests from fastapi import FastAPI from ray import serve
# 1: 定义 FastAPI 应用,并将其包装为带有路由处理器的部署。 app = FastAPI()
@serve.deployment @serve.ingress(app) class FastAPIDeployment: # FastAPI 会自动为我们解析 HTTP 请求。 @app.get("/hello") def say_hello(self, name: str) -> str: return f"Hello {name}!"
# 2: 部署该部署。 serve.run(FastAPIDeployment.bind(), route_prefix="/")
# 3: 查询部署并打印结果。 print(requests.get("http://localhost:8000/hello", params={"name": "Theodore"}).json()) # "Hello Theodore!" ```
Hugging Face Transformers 模型 要运行此示例,请安装:pip install transformers 使用 Ray Serve 部署预训练的 Hugging Face Transformers 模型。这里使用的模型是一个情感分析模型:它接收文本字符串作为输入,并返回文本是“正面(POSITIVE)”还是“负面(NEGATIVE)”。 ```python import requests from starlette.requests import Request from typing import Dict
from transformers import pipeline
from ray import serve
# 1: 将预训练的情感分析模型封装到 Serve 部署中。 @serve.deployment class SentimentAnalysisDeployment: def __init__(self): self._model = pipeline("sentiment-analysis")
def __call__(self, request: Request) -> Dict: return self._model(request.query_params["text"])[0]
# 2: 部署该部署。 serve.run(SentimentAnalysisDeployment.bind(), route_prefix="/")
# 3: 查询部署并打印结果。 print( requests.get( "http://localhost:8000/", params={"text": "Ray Serve is great!"} ).json() ) # {'label': 'POSITIVE', 'score': 0.9998476505279541} ```
为什么选择 Serve?#
构建端到端的 ML 驱动应用 许多机器学习服务方案侧重于“张量进、张量出”的模式,即将 ML 模型封装在预定义的结构化端点之后。然而,机器学习并不能孤立地发挥作用。通常需要将机器学习与业务逻辑以及传统的 Web 服务逻辑(如数据库查询)相结合。
Ray Serve 的独特之处在于,它允许你在单一框架内构建并部署端到端的分布式服务应用。你可以结合多个 ML 模型、业务逻辑以及借助 Serve 的 FastAPI 集成(见 FastAPI HTTP 部署)实现的表现力丰富的 HTTP 处理,将整个应用作为一个 Python 程序来构建。
通过可编程 API 组合多个模型 解决复杂问题往往需要不止一个机器学习模型。例如,图像处理应用通常需要多阶段流水线,包括预处理、分割和过滤等步骤才能达成最终目标。在许多情况下,每个模型可能使用不同的架构或框架,并且需要不同的资源(如 CPU 与 GPU)。
其他许多解决方案支持通过 YAML 或某种配置语言定义静态图。这可能存在局限性且难以操作。相比之下,Ray Serve 支持通过可编程 API 进行多模型组合,对不同模型的调用看起来就像普通的函数调用。模型可以使用不同的资源,并运行在集群中的不同机器上,但你编写起来如同普通程序一样直观。详见“部署模型组合”了解更多细节。
灵活扩展与资源分配 机器学习模型对计算资源需求巨大,运行成本可能非常高。任何 ML 服务系统的关键需求之一,就是能够动态扩展并分配合适的资源,以便每个模型都能处理相应的请求负载,同时节省成本。
Serve 提供了一系列内置原语,帮助提高 ML 服务应用的效率。它支持通过调整副本数量动态扩展或缩减模型资源,通过批处理请求利用高效的向量化操作(这在 GPU 上尤为重要),以及通过灵活的资源分配模型,在有限的硬件资源上部署多个模型。
避免框架或供应商锁定 机器学习发展迅速,新库和新模型架构层出不穷,因此避免将自己锁定在依赖特定框架的解决方案中至关重要。这一点在服务领域尤为关键,因为修改基础设施可能耗时、昂贵且伴随风险。此外,许多托管解决方案仅限于单一云服务商,这在当今多云环境中是一个问题。
Ray Serve 不绑定任何特定的机器学习库或框架,而是提供一个通用的可扩展服务层。由于基于 Ray 构建,你可以在 Ray 运行的任何地方运行它:笔记本电脑、Kubernetes、主要云提供商,甚至本地数据中心。
作为不同角色,Serve 能如何帮助我?#
数据科学家 Serve 让从笔记本电脑到集群的过渡变得简单。你可以先在本地机器上测试模型(以及整个部署图),然后将其部署到集群中的生产环境。使用 Serve 无需了解重量级的 Kubernetes 概念或复杂的云配置。
ML 工程师 Serve 帮助你扩展部署,并以可靠、高效的方式运行以节省成本。借助 Serve 的一等公民模型组合 API,你可以将模型与业务逻辑结合,构建端到端的用户面向型应用。此外,Serve 原生支持 Kubernetes,运维开销极小。
ML 平台工程师 Serve 专注于可扩展且可靠的 ML 模型服务。因此,它可以作为 ML 平台栈中重要的即插即用组件。Serve 支持任意 Python 代码,因此能很好地融入 MLOps 生态系统。你可以将其与模型优化器(ONNX, TVM)、模型监控系统(Seldon Alibi, Arize)、模型注册表(MLFlow, Weights and Biases)、机器学习框架(XGBoost, Scikit-learn)、数据应用 UI(Gradio, Streamlit)以及 Web API 框架(FastAPI, gRPC)配合使用。
LLM 开发者 Serve 让你能够快速原型、开发并部署可扩展的 LLM 应用到生产环境。许多大型语言模型(LLM)应用结合了提示预处理、向量数据库查找、LLM API 调用和响应验证。由于 Serve 支持任意 Python 代码,你可以将这些步骤编写为单一的 Python 模块,从而实现快速开发和易于测试。然后,你可以快速将 Ray Serve LLM 应用部署到生产环境,每个应用步骤可以独立自动扩展,以高效应对用户流量而不浪费资源。为了提高 LLM 应用的性能,Ray Serve 具备批处理功能,并可与任何模型优化技术集成。Ray Serve 还支持流式响应,这是类聊天机器人应用的关键特性。
Serve 与 … 相比如何?#
TFServing, TorchServe, ONNXRuntime Ray Serve 不依赖特定框架,因此可以与任何 Python 框架或库配合使用。我们认为数据科学家不应被束缚在某个特定的机器学习框架中。他们应该被赋能去使用适合任务的最佳工具。
与这些针对特定框架的解决方案相比,Ray Serve 不会执行针对特定模型的优化来加速你的 ML 模型。但你仍然可以自行优化模型,并在 Ray Serve 中运行它们。例如,你可以运行由 PyTorch JIT 或 ONNXRuntime 编译的模型。
AWS SageMaker, Azure ML, Google Vertex AI 作为一个开源项目,Ray Serve 将这些托管服务提供的可扩展性和可靠性带到你自己的基础设施上。你可以使用 Ray 集群启动器将 Ray Serve 部署到所有主要公共云、K8s 以及裸机或本地数据中心机器上。
Ray Serve 不是一个完整的 ML 平台。与这些其他服务相比,Ray Serve 缺少管理模型生命周期、可视化性能等功能。Ray Serve 主要专注于模型服务,并提供原语供你在其上构建自己的 ML 平台。
Seldon, KServe, Cortex 你可以在笔记本电脑上开发 Ray Serve,在开发机上部署,然后扩展到多台机器或 Kubernetes 集群,且代码几乎或无需修改。当你不需要配置和管理 K8s 集群时,入门会容易得多。到了部署阶段,你可以使用我们的 Kubernetes Operator 将 Ray Serve 应用透明地部署到 K8s。
BentoML, Comet.ml, MLflow 这些工具中的许多专注于独立地服务和扩展模型。相比之下,Ray Serve 不依赖特定框架,专注于模型组合。因此,Ray Serve 兼容任何模型打包和注册表格式。Ray Serve 还提供了构建生产就绪机器学习应用的关键功能,包括一流的自动扩展以及与业务逻辑的自然集成。
我们真诚地认为 Serve 是独一无二的,因为它让你端到端地控制 ML 应用,同时提供可扩展性和高性能。若要用其他工具实现 Serve 的功能,你需要将 TensorFlow Serving 和 SageMaker 等多个框架粘合在一起,甚至自行开发微批处理组件来提高吞吐量。
了解更多# 查看“入门指南”和“核心概念”,或前往“示例”开始构建你的 Ray Serve 应用。
入门指南
从我们的快速入门教程开始,学习如何在本地部署单个模型,以及如何将现有模型转换为 Ray Serve 部署。
开始使用 Ray Serve
核心概念
理解 Ray Serve 背后的核心概念。 了解部署(Deployments)、如何查询它们,以及如何使用 DeploymentHandles 将多个模型和业务逻辑组合在一起。
学习核心概念
示例
通过教程了解如何将 Ray Serve 与 TensorFlow 和 Scikit-Learn 集成。
查看 Serve 示例
API 参考
获取有关 Ray Serve API 的更详细信息。
阅读 API 参考
Ray Serve 办公时间
加入我们每两周一次的社区办公时间,面向所有使用 Ray Serve 的用户。欢迎带来你的问题、遇到的故障或希望与 Ray Serve 团队核对的想法。
在此注册
更多详情,请参见以下关于 Ray Serve 的博客文章:
Simon Mo, Edward Oakes, and Michael Galarnyk 著《生产环境中服务 ML 模型:常见模式》 Edward Oakes and Bill Chambers 著《使用纯 Python 在生产环境中服务 NLP 模型的最简单方式》 Simon Mo 著《机器学习服务是破碎的》 Archit Kulkarni 著《如何使用 Ray Serve 扩展你的 FastAPI 应用》