进阶 rustfs.com 2026-11-14 08:26:37 · 16 阅读

第15章 用 Nawāt 和 RustFS 管理 AI 微调存储

← 全部文章 | 使用 Nawāt 和 RustFS 管理 AI 微调存储 2026年8月6日 | 阅读时间 4 分钟 | AI | 集成 | 使用场景

随着 AI 研究的深入,存储往往比 GPU 算力更早成为瓶颈。一台工作站或许能微调多个 7B 或 11B 模型,但本地 SSD 会逐渐被基础模型、数据集、训练检查点、LoRA 适配器、合并模型、GGUF 导出文件和日志填满。

Nawāt 通过将本地 SSD 视为有限的操作缓存,并将 RustFS 作为持久的 S3 兼容对象存储后端,解决了这一问题。

存储困境

单次微调运行可能同时需要基础模型、处理后的数据集、优化器状态、周期性检查点、最终适配器、合并权重以及一种或多种导出格式。最终,可能没有足够的空闲空间来保存下一个检查点或生成新的导出。

手动清理存在风险。研究者很容易误删唯一副本的适配器,移除恢复失败运行所需的检查点,或者丢失结果与其对应的模型、数据集及参数之间的关联。

使用 Nawāt 之前

标准的 Unsloth 脚本通过常规库下载模型和数据集,并将结果写入本地文件夹:

```python from datasets import load_dataset from unsloth import FastVisionModel

model, tokenizer = FastVisionModel.from_pretrained( "unsloth/Qwen3.5-0.8B", load_in_4bit=False, use_gradient_checkpointing="unsloth", )

dataset = load_dataset( "unsloth/LaTeX_OCR", split="train", )

配置并运行标准的 Unsloth / TRL 训练工作流。

model.save_pretrained("qwen_lora") tokenizer.save_pretrained("qwen_lora") ```

这对单个实验有效,但存储生命周期仍依赖手动管理: * 基础模型保留在本地缓存中。 * 数据集保留在工作站上。 * 检查点在本地目录中不断积累。 * 适配器和导出文件需手动移动。 * 清理工作依赖研究者记住哪些文件可以安全删除。

使用 Nawāt 之后

训练代码保持为普通的 Unsloth 代码。Nawāt 仅为模型、数据集、检查点和输出提供受管理的路径:

```python import nawat from datasets import load_dataset from unsloth import FastVisionModel

model, tokenizer = FastVisionModel.from_pretrained( nawat.model_dir(), load_in_4bit=False, use_gradient_checkpointing="unsloth", )

dataset = load_dataset( nawat.dataset_dir(), split="train", )

配置并运行标准的 Unsloth / TRL 训练工作流。

adapter_dir = nawat.artifact_dir("adapter") model.save_pretrained(adapter_dir) tokenizer.save_pretrained(adapter_dir) ```

模型配置、数据转换、Trainer、优化器和超参数均未改变。区别在于存储行为:

| 调用 | 存储行为 | | :--- | :--- | | `nawat.model_dir()` | 将请求的模型解析到有限的本地缓存中,并在运行活跃期间予以保护 | | `nawat.dataset_dir()` | 解析数据集,防止其在训练期间被回收 | | `nawat.artifact_dir("adapter")` | 创建受管理的输出目录,在运行成功后发布到 RustFS | | `nawat.checkpoint_args(...)` | 将可恢复的检查点放置在运行工作区中 | | `nawat.resume_from()` | 在恢复运行时返回最新的有效检查点 |

提交运行时可以使用稳定的模型和数据集密钥:

```bash nawat submit train_latex_ocr.py \ --model models/unsloth/Qwen3.5-0.8B \ --dataset datasets/unsloth/LaTeX_OCR \ --param max_steps=500 \ --param learning_rate=2e-4 \ --param rank=16 \ --notes "LaTeX OCR baseline" ```

端到端 Unsloth 示例

```python import nawat from datasets import load_dataset from trl import SFTConfig, SFTTrainer from unsloth import FastVisionModel from unsloth.trainer import UnslothVisionDataCollator

MAX_STEPS = nawat.param("max_steps", 500) LEARNING_RATE = nawat.param("learning_rate", 2e-4) RANK = nawat.param("rank", 16)

model, tokenizer = FastVisionModel.from_pretrained( nawat.model_dir(), load_in_4bit=False, use_gradient_checkpointing="unsloth", )

model = FastVisionModel.get_peft_model( model, finetune_vision_layers=True, finetune_language_layers=True, finetune_attention_modules=True, finetune_mlp_modules=True, r=RANK, lora_alpha=RANK, lora_dropout=0, bias="none", random_state=3407, )

dataset = load_dataset( nawat.dataset_dir(), split="train", )

instruction = "Write the LaTeX representation for this image."

def convert_to_conversation(sample): return { "messages": [ { "role": "user", "content": [ {"type": "text", "text": instruction}, {"type": "image", "image": sample["image"]}, ], }, { "role": "assistant", "content": [ {"type": "text", "text": sample["text"]}, ], }, ] }

converted_dataset = [ convert_to_conversation(sample) for sample in dataset ]

FastVisionModel.for_training(model)

trainer = SFTTrainer( model=model, tokenizer=tokenizer, data_collator=UnslothVisionDataCollator(model, tokenizer), train_dataset=converted_dataset, callbacks=[nawat.metrics.trainer_callback()], args=SFTConfig( per_device_train_batch_size=2, gradient_accumulation_steps=4, warmup_steps=5, max_steps=MAX_STEPS, learning_rate=LEARNING_RATE, logging_steps=1, optim="adamw_8bit", weight_decay=0.001, lr_scheduler_type="linear", seed=3407, report_to="none", remove_unused_columns=False, dataset_text_field="", dataset_kwargs={"skip_prepare_dataset": True}, max_length=2048, nawat.checkpoint_args( save_steps=250, save_total_limit=3, ), ), )

trainer.train( resume_from_checkpoint=nawat.resume_from() )

adapter_dir = nawat.artifact_dir("adapter") model.save_pretrained(adapter_dir) tokenizer.save_pretrained(adapter_dir) ```

如需合并权重和 GGUF 导出,可以将其作为独立的受管理制品写入:

```python exports = { value.strip() for value in nawat.param("export", "").split(",") if value.strip() }

if exports & {"merged", "gguf"}: merged_dir = nawat.artifact_dir("merged") model.save_pretrained_merged( str(merged_dir), tokenizer, )

if "gguf" in exports: gguf_dir = nawat.artifact_dir("gguf") model.save_pretrained_gguf( str(gguf_dir), tokenizer, quantization_method=nawat.param( "quantization", "q4_k_m", ), ) ```

存储生命周期

每次运行遵循相同的存储生命周期: 1. 解析输入 2. 预留本地工作空间 3. 租约激活模型和数据集 4. 使用 Unsloth 进行训练 5. 写入检查点和制品 6. 将制品上传至 RustFS 7. 验证远程清单 8. 标记本地副本为可回收

RustFS 是持久的 S3 兼容存储。Nawāt 管理本地缓存限制、最小空闲空间保护、输入暂存、活跃进程租约、运行元数据、检查点路径、制品发布、远程验证以及安全的本地回收。

稳定的制品密钥

Nawāt 将每个制品密钥直接映射到 RustFS 前缀和本地缓存路径:

```text s3://nawat/ ├── models/unsloth/Qwen3.5-0.8B/ ├── models/unsloth/Qwen2.5-VL-7B-Instruct/ ├── datasets/unsloth/LaTeX_OCR/ ├── datasets/ocr-arabic-v3/ ├── runs/latex-ocr-v1/checkpoints/ ├── runs/latex-ocr-v1/adapter/ ├── runs/latex-ocr-v1/merged/ ├── runs/latex-ocr-v1/gguf/ ├── runs/latex-ocr-v1/logs/ └── runs/latex-ocr-v1/metrics/ ```

相同的密钥用于标识对象存储前缀、解析本地路径、记录运行输入或输出,以及稍后恢复制品。对象存储和训练工作区之间没有额外的命名层。

安全回收

Nawāt 不会在上传后立即删除本地输出。发布制品后,它会列出 RustFS 中的目标前缀,并将远程清单与本地目录进行比较。

当前验证检查文件名、相对路径和文件大小。如果文件缺失或大小不匹配,发布操作将失败,本地副本保持原样。只有经验证的制品才具备本地回收资格。

Nawāt 还通过租约保护活跃输入。由活跃进程使用的模型或数据集不会因磁盘压力而被回收。

RustFS 集成

Nawāt 通过标准 S3 操作与 RustFS 通信:

| S3 操作 | 在 Nawāt 中的用途 | | :--- | :--- | | ListObjectsV2 | 构建远程清单并验证前缀 | | GetObject | 恢复模型、数据集、检查点和制品 | | PutObject | 发布适配器、导出、日志和指标 | | DeleteObjects | 仅在显式请求时删除远程制品 | | CreateBucket | 在设置期间准备存储命名空间 |

客户端使用 boto3,采用 SigV4 认证、路径式 S3 寻址、分块传输、多线程上传/下载以及重试处理。大文件分多部分传输。完成的下载先写入临时路径,传输完成后才重命名到位。

配置

```bash NAWAT_S3_ENDPOINT=http://127.0.0.1:9000 NAWAT_S3_BUCKET=nawat NAWAT_S3_REGION=us-east-1 NAWAT_S3_ACCESS_KEY=rustfsadmin NAWAT_S3_SECRET_KEY=change-me-before-first-use

NAWAT_CACHE_ROOT=/home/user/nawat/cache NAWAT_WORKSPACE=/home/user/nawat/workspace NAWAT_CACHE_CEILING=120GB NAWAT_MIN_FREE=10GB ```

配置 RustFS 后,验证存储工作流:

```bash nawat check --create-bucket ```

此命令测试连接、桶访问、上传、列表、验证、下载和清理。

结果

Nawāt 并未消除对本地存储的需求。活跃的模型、数据集、检查点和临时导出仍需要工作空间。

改变的是必须永久保留在工作站上的内容: * 活跃文件在需要期间保留在本地。 * 正在运行的任务受到保护,不会被驱逐。 * 完成的制品上传至 RustFS。 * 本地副本仅在验证后变为可回收。 * 旧制品可通过稳定密钥稍后恢复。

工作站从永久档案库转变为受控的训练工作区。

项目链接

* Nawāt: github.com/murtadha-lap/nawat * RustFS: github.com/rustfs/rustfs * Unsloth: github.com/unslothai/unsloth

Nawāt 是一个独立项目,与 RustFS 或 Unsloth 无隶属或背书关系。它支持 S3 兼容的对象存储后端;RustFS 是此工作流中使用的后端。

本篇用到的工具

评论 (0)