第34章 在 Docker 中运行 LMQL

在 Docker 中运行 LMQL 可以在容器环境中使用 LMQL。以下是基于最新稳定版 LMQL 配置 Docker 容器的步骤。构建镜像所需的 Dockerfile 位于 scripts/ 目录下。 提示：当前版本的 LMQL 要求将容器的 3000 和 3004 端口映射到宿主机，以便访问 Playground IDE 和 LMQL 后端。 构建镜像 使用以下命令可以基于该 Dockerfile 创建镜像： `docker build -t lmql-docker:latest .` 使用 GPU 和本地模型 若要使用本地模型，首先需确保宿主机已安装 CUDA 并配备受支持的 Nvidia GPU。请注意，该镜像在宿主机上通过 CUDA 12.1 进行了测试，并会安装支持 CUDA 11.8 的稳定版 PyTorch。在此之前，请确保已安装 Docker GPU 支持。然后，使用以下命令构建镜像： `docker build --build-arg GPU_ENABLED=true -t lmql-docker:cuda11.8 .` 其中，cuda11.8 标签仅为示意，可根据需要修改。 启动容器 使用已构建的镜像启动容器，执行以下命令： `docker run -d -p 3000:3000 -p 3004:3004 lmql-docker:latest` 使用环境变量 若需覆盖默认环境变量，可通过 `docker run` 命令实现，例如： `docker run -d -e OPENAI_API_KEY= -p 3000:3000 -p 3004:3004 lmql-docker:latest` 或者，如果想使用 `api.env` 文件，也可以挂载该文件： `docker run -d -v $(PWD)/api.env:/lmql/.lmql/api.env -p 3000:3000 -p 3004:3004 lmql-docker:latest` 在 GPU 和本地模型环境下启动容器 请确保已按照“使用 GPU 和本地模型”章节完成镜像构建步骤。若要启动可访问 GPU 的 Docker 容器，建议使用以下命令： `docker run --gpus all -d -p 3000:3000 -p 3004:3004 lmql-docker:cuda11.8` 其中，`all` 表示将全部 GPU 分配给该 Docker 容器。 注意，此命令将容器内的 3000 和 3004 端口暴露至宿机的相同端口。同时，我们沿用了此前构建镜像时使用的名称 `lmql-docker:cuda11.8`。