美团技术团队 6天前 · 2026-07-19 23:46:57 · 21 阅读

美团海报生成 AIGC 技术创新与实践

视觉智能 2026-06-18

AIGC大模型开源

一张商业海报，对设计师来说可能是半天工作；对百万中小商家来说，却可能是一道迈不过去的门槛。外包一张专业海报，少则数百、多则数千元；临时促销要求分钟级交付，传统设计流水线却要1到3天；好不容易批量生产出来，质量又参差不齐——这是美团平台上数百万商家每天都在面对的真实困境。AIGC 给了我们一个新的答案，但「生成一张看起来还行的图」和「生成一张真正可用的商业海报」之间，横亘着精准文字渲染、和谐版式布局、多任务统一支持、质量可量化评估等多项相互交织的技术挑战。过去两年，美团智能创作团队围绕这一问题，构建了覆盖「能生成、能编辑、能评判」的完整技术体系：

PosterCraft（ICLR 2026）：摒弃模块化流水线，端到端统一优化文字、视觉与版式，在文字渲染准确率上接近Top级别的闭源商业系统；
PosterOmni（CVPR 2026）：单一模型覆盖扩图、补全、比例调整、风格迁移等六类设计任务，更接近"基于参考稿工作的智能设计助手"；
PosterReward（CVPR 2026）：首个专门面向海报质量评估的奖励模型，在专项评测基准上达到 86% 准确率，远超现有基线，既驱动生成模型持续进化，也承担线上质检把关。

三者形成「生成-编辑-评判」的技术闭环，相互支撑、持续自我进化。目前三项工作均已全部开源于 MeiGen-AI 仓库，并在美团外卖套餐图生成、品牌 IP 袋鼠团团、点评信息流治理等多个真实业务场景中完成落地。本文将系统拆解这套技术体系的核心思路、关键创新与实战经验。

一、背景与挑战

1.1 业务背景：百万商家的"创意平权"难题

美团连接数百万商家与数亿消费者，海报作为核心视觉营销载体，贯穿商家日常运营全场景。然而，百万商家普遍面临四重困境：

设计资源匮乏：专业营销海报外包动辄数百至数千元，中小商家难以承受；即便是大型连锁品牌，面对多城市、多门店的差异化营销需求，设计师团队同样捉襟见肘。
时效性要求苛刻：天气突变、突发热点、临时促销等本地生活场景要求海报"分钟级"交付，传统设计流水线 1–3 天的周期已严重脱节。
内容同质化严重：大量商家依赖固定模板做简单文字替换，海报千篇一律，在信息爆炸时代难以触达消费者，营销转化率持续走低。
批量生产质量失控：从精雕细琢转向规模化生产后，如何保证每张海报达到商业可用标准，成为新的运营难题。

1.2 技术挑战：高质量海报生成的多维难题

AIGC 为上述问题提供了新思路，但高质量海报生成远非简单的文生图任务，面临五大相互交织的技术挑战。

挑战一：精准的文字渲染

海报文字要求"零容错"——任何错误、缺失或模糊都导致整张海报不可用。主流扩散模型在多行文字、中文字符和小字号文本上仍有明显短板，中文场景下难度尤甚。

挑战二：和谐的版式布局

优秀海报遵循对比、重复、对齐、亲密性等设计原则，这种"设计感"难以规则化，更多依赖对大量优秀作品的隐式学习，是一个开放性难题。

挑战三：统一的美学风格

色彩和谐、视觉层次、品牌调性等多维度共同构成美学判断，且不同行业标准迥异：餐饮要"食欲感"，美妆要"精致感"，科技要"未来感"。模型需在保持整体美学水准的同时适配多样化风格需求。

挑战四：多任务场景的统一

真实设计需求横跨"局部编辑"（文字排版叠加、局部填充）和"全局创作"（风格迁移、版式重组）两大范畴，如何在单一模型中同时支持所有场景，是模型设计和训练策略上的重大挑战。

挑战五：质量评估的可量化

现有图像质量指标（FID、IS 等）无法捕捉海报特有的排版质量、文字准确性和设计规范性，而人工评估成本高昂且难以规模化。我们需要一套既能驱动模型优化（作为 RL 奖励信号），又能承担线上质检的自动化评估体系。

1.3 我们的解法：构建"生成-编辑-评判"技术闭环

面对上述挑战，我们团队围绕海报生成构建了一套完整的技术体系，覆盖基础模型能力提升、多任务统一模型融合和质量评估模型三大核心环节，形成了"能生成、能编辑、能评判"的技术闭环。

能生成：端到端高美感海报生成，精准文字渲染；技术方案→ PosterCraft｜Code（ICLR 2026）
能编辑：六大任务统一，局部编辑与全局创作融合；技术方案→ PosterOmni｜Code（CVPR 2026）
能评判：真实海报结构化解析 + 生成海报偏好评估；技术方案→营销海报结构化 + PosterReward（CVPR 2026）

三者相互支撑、协同进化：评估驱动生成优化，生成拓展编辑边界，编辑反哺评估标准，共同构成一个持续自我进化的后训练系统。相关工作已产出三篇顶级学术会议论文，并全部开源于MeiGen-AI仓库。

二、技术体系全景

我们的海报生成技术体系遵循一个清晰的演进路径：

各层相互支撑：PosterCraft 奠定端到端生成基础；PosterOmni 在此之上拓展至多任务统一编辑；质量评估层构建"双线并行"体系——营销海报结构化面向线上存量海报，提供构图、配色、氛围感的结构化解析与美学评分；PosterReward 面向 AI 生成内容，提供偏好评估信号，既驱动生成模型持续进化（RL 奖励函数），也承担工业化生产的质检把关。

三、端到端高美感海报生成：PosterCraft（ICLR 2026）

3.1 核心思想

过去的海报生成方法大多采用模块化设计——先由视觉语言模型规划布局，再将文字叠加到单独生成的背景上。这种流水线方案存在根本性缺陷：美学一致性难以保证，视觉质量受限于各模块的短板拼接。

PosterCraft 的核心思路是：摒弃模块化流水线，让模型端到端地自由探索视觉连贯的设计组合。渐进式的组件级改进不足以带来美学层面的质的飞跃，需要一套统一框架来协同优化文字、视觉和版式。

3.2 四阶段级联优化工作流

PosterCraft 设计了四阶段训练流程，每个阶段针对一个关键瓶颈：

阶段一：大规模文字渲染优化

构建 Text-Render-2M 数据集（200 万样本，涵盖多样文字内容、大小、位置和旋转角度）。通过 Flow Matching 微调，显著提升文字渲染准确率，有效解决基础模型常见的文字缺失、重复和错误问题。

阶段二：高质量海报微调 + 区域感知校准

构建 HQ-Poster-100K，经多级管线筛选超过 10 万张高质量海报。关键创新是区域感知校准（Region-Aware Calibration）机制，对不同区域差异化加权：非文字区域（1.0）、主要文字区域（0.6）、次要文字区域（0.2），在保持文字准确的同时更注重整体艺术性。

阶段三：美学-文本强化学习

构建 Poster-Preference-100K：对每个 prompt 生成 5 张海报，用 HPSv2 打分结合 Gemini 验证文字准确性，筛选出 6000 个高质量偏好对。采用 Best-of-N 偏好优化（DPO），让模型学习色彩和谐、版式平衡等高阶美学偏好。

阶段四：视觉-语言反馈精炼

构建 Poster-Reflect-120K：对每个 prompt 生成 6 张海报，由 Gemini 选择最优并生成结构化反馈建议。利用 InternVL-3-8B 微调为 VLM 评论家，在推理时提供迭代式反馈优化。

3.3 核心成果

PosterCraft 在文字召回率、F-score 和准确率上显著超越所有开源基线，接近 SOTA 闭源商业系统（如 Gemini 2.0-Flash-Gen）的水平，证明了统一端到端框架在海报生成任务上的巨大潜力。

四、多任务统一的图像到海报创作：PosterOmni（CVPR 2026）

4.1 核心思想：从 Text-to-Poster 到 Image-to-Poster

不少 AI 海报生成方法将输入设定为文本提示（Text-to-Poster），但真实设计场景中，更常见的起点是一张参考图、旧版海报或产品主视觉——设计目标不是完全重做，而是在保留核心主体的基础上完成扩图、补全、比例调整、风格迁移和版式重组。

PosterOmni 的核心定位：

A unified open model for versatile multi-task image/poster-to-poster generation.

它通过一个统一的开源模型覆盖多类设计需求，既能处理局部编辑，也能完成风格重塑和版式重构——更接近一个"基于参考稿工作的智能设计助手"，而非"编辑模块 + 生成模块"的简单拼接。

4.2 统一"图到海报"范式：单一模型覆盖六类典型设计需求

PosterOmni 将 image/poster-to-poster 场景中的常见需求整理为 6 类任务，统一由一个模型完成：

这些能力共同对应了一个真实的设计流程：

4.3 核心难点：多任务冲突的缓解

多任务统一建模的核心难点在于任务间的相互干扰：局部编辑强调像素级一致性和自然过渡，全局创作则关注风格抽象和大幅度重构。直接混合训练容易导致模型"什么都会一点"，但整体不稳定。

PosterOmni 采用"数据—蒸馏—奖励"闭环：

分别训练局部编辑和全局创作两类专家模型。
通过任务蒸馏整合为统一学生模型（PosterOmni-SFT）。
加入统一奖励与强化学习，对齐审美偏好、编辑准确性和指令遵循能力。

4.4 方法论：四阶段训练流水线

阶段 1：自动化数据构建（PosterOmni-200K）

构建 PosterOmni-200K，形成完整数据闭环：创意描述生成 → 候选图生成 → 多模态筛选 → 任务配对整理。

（1）提示词与基础图生成：贴近真实设计 brief

组合主体/品类/场景/风格标签，借助 VLM（GPT、Qwen3）扩展为带版式约束的结构化描述，再用强 T2I 模型（Qwen-Image 等）渲染候选图，并过滤主体缺失、文字崩坏等不合格样本。

（2）多模态过滤：噪声控制是合成数据的真正瓶颈

对于合成数据而言，真正的瓶颈往往不在数量，而在噪声控制。我们设计了一套分层过滤机制：

训练集：PaddleOCR 检查文本可读性 + jina-clip-v2 图文一致性判断。
评测集：额外引入 Gemini 2.5 Flash 评估"任务匹配度"。
结构信号：SAM 2 生成分割区域，为补全、扩图等任务提供 mask 级监督。

（3）六类任务配对构建

基于经过过滤的"文本→海报"基础数据，进一步构造六类 image/poster-to-poster 训练任务。每一类任务对应一个模块化的数据生成器：

Extending / Filling：SAM2 构造局部 mask。
Rescaling：借鉴 BrushNet，构建"比例变化→内容重排"监督对。
ID-driven：PaddleDet 提取主体 + 增强编辑器构造"主体不变、其余可调"样本。
Layout / Style-driven：prompt-controlled rerendering，继承布局或风格但不直接复制。

最终覆盖商品、美食、活动/旅行、自然、教育、娱乐六大海报主题，产出超过 20 万个高质量配对样本。

阶段 2：任务蒸馏——先拆开学，再合到一起

如果直接把六类任务混在一起联合训练，最容易出现的问题就是任务冲突：局部任务强调像素对齐与细节保真，全局任务则更关注构图重组与风格抽象，两者在同一个参数空间中往往会互相拉扯。为了解决这个问题，PosterOmni 采用：先训练专家，再蒸馏成统一学生模型。

（1）专家训练：

局部编辑专家：负责 Extending / Filling / Rescaling / ID-driven，学习主体一致性与可控编辑能力。
全局创作专家：负责 Layout-driven / Style-driven，学习版式组织逻辑与风格协调性。

同时加入辅助文本渲染训练信号，保证文字可读性。

（2）蒸馏到单一学生：PosterOmni-SFT

最终的统一模型不是简单做"参数拼接"，而是训练一个学生网络去逼近专家模型的速度场/预测行为。整体损失由两部分组成：

L_total = L_text_render (辅助文本渲染损失，保证文字稳定清晰)
        + λ · L_distill  (任务蒸馏损失，复现专家输出)

PosterOmni-SFT 同时具备"局部精修的稳定性"和"全局创作的生成性"，不再依赖多个模型串联。

阶段 3：统一奖励模型训练（ $R_{omni}$ Romni）

SFT 使模型"会做"，但难以进一步学会"做得更美观"。我们训练统一奖励模型 $R_{omni}$ Romni，同时输出通用审美质量与任务完成度的综合分数。

偏好数据构建： PosterOmni-SFT 生成多个候选，Gemini-2.5-Pro 初筛后由标注者选优。关键创新是 negative-pair 策略：将"输入参考图"记为 rejected、"编辑后输出"记为 chosen，显式强化"有效修改本身有价值"的认知，防止模型在 layout/style 任务中直接拷贝参考图投机。

模型结构： 基于 Qwen3-VL 编码器 + 轻量 MLP head，编码"视觉质量 + 指令 + 任务类型"，采用 Bradley-Terry 目标优化排序损失 $L_{BT}$ LBT。最终， $R_{omni}$ Romni 学到的不只是"什么更好看"，还有"对这个任务来说什么算做对、什么算偷懒"。