GenRecs Tokenization：用稳定语义词表革新 Meta 广告推荐
- 生成式推荐器（GenRecs）是一场范式转变：不再对每条广告单独打分，而是将广告内容与用户偏好放在一起推理，为广告主预测最佳结果。借助 LLM 内置的世界知识，广告匹配变得更智能、更精准，为广告主带来持续累积的收益。
- GenRecs Tokenization 是实现这一切的基础数据表示方式。它不再为每个条目维护专属 ID，而是用一组来自稳定语义词表的 token 来表示每个条目。
- GenRecs Tokenization 已在各展示场景中为广告主带来 +0.35% 的转化提升。
GenRecs 改进了 Meta 广告推荐系统的预测方式。GenRecs 是 Generative Recommenders 的缩写，它改变了我们的技术路线：从对每条广告候选逐一打分，转向利用 LLM 架构同时深入推理广告内容与用户偏好。系统将预训练的世界知识与对广告实际含义的语义理解相结合，超越了单纯的点击模式匹配，能够理解用户的底层偏好。这意味着模型可以为每个人预测最相关的广告——即便是展示完全没有产品、广告或公司互动历史的新品也不例外。
GenRecs Tokenization 是实现这一切的基础数据表示方式。语言模型不再为世界上每个概念维护专属 ID，而是用一小套语义 token 的组合来表示任意概念。由于 token 描述的是一个条目（如广告、产品、服务等）"是什么"，模型就能将从未有过互动数据的条目关联到自己熟悉的条目上。一款新上市的"越野跑鞋"可以直接继承模型对该品类的已有认知，而不是从零开始、毫无信号地构建新的表示。
GenRecs Tokenization 为广告推荐引入了结构化词表方案，使 GenRecs 能够对系统中的所有条目类型（包括广告、产品、主页和像素）同时完成召回和排序。
Meta 的先进广告推荐系统通过深入分析单个广告及其表现，持续推动广告主效果提升。大型语言模型（LLMs）为提升推荐系统性能带来了独特机遇，通过在不同广告场景中应用语义分词（semantic tokenization），可以带来多方面的改进：
- 加速新实体学习：语义分词通过共享概念帮助模型推断相关性并建立关联。新实体包括新创建的广告、小众产品以及互动量有限的页面。
- 实现跨活动迁移：语义分词构建稳定的词汇表，使模型能够将洞察在不同广告活动间迁移，从而服务于广告主。
- 享受 LLM 规模化红利：语义分词使性能收益能随着 LLM 规模化曲线的提升而复利增长。
- 注入世界知识：语义分词为预训练语言模型提供了直接推理广告内容和用户意图的接口。
当条目被迁移为语义 token 后，模型便能像 LLM 一样从 token 模式中学习。在生产环境中，这带来了：
- 生产环境预测准确度的提升：结合 Meta 的 GEM 和 自适应排序模型（Adaptive Ranking Model），GenRecs 分词技术带来了 0.35% 的转化率提升1。
- 复利反馈循环：更精准的低频（tail）预测能从低频广告中获得更多见解，进而丰富训练数据，从而进一步提升模型对所有广告的预测能力，形成正向的性能增强循环。
- 新的规模化路径：在生产环境的排序和检索中，token 技术沿着序列长度、训练数据和模型架构维度，重新塑造了规模化曲线。
1 Meta 内部数据，测量于 2026 年 2 月。
介绍 GenRecs 分词技术
预训练多模态模型会读取每一条广告、产品和页面（包括其文本和图像），将这些项目编码为蕴含世界知识的嵌入向量。分词器将这种内容信号与基于用户交互行为习得的项目表征相结合，然后将结果量化为离散的短 token 序列。相似的项目共享相同的 token，这与相关单词共享词根的原理类似。例如，上季度和本季度两双跑鞋广告之间存在重叠，因此新营销活动可以立即受益于模型此前已学到的关于上季度产品的知识。
GenRecs Tokenization 的核心是一个三阶段流水线，具体包括：
- 将每个项目编码到语义嵌入空间。
- 将该嵌入分解到独立的子空间。
- 通过映射到码本条目进行量化。
为了最大化广告推荐质量，需要根据实体和特征的语义，灵活组合上述不同阶段的多种方案。例如，在许多广告表征中，GenRecs Tokenization 使用了结合学习编码器、残差分解、学习向量码本以及 token 参数化 的前缀 n-gram。
Token 质量预测排序准确率
独立于下游排序收益，分词器模型的质量可以通过内在指标进行评估，例如：
- 簇纯度：共享同一 code 的项目往往属于同一类别，这为模型提供了更纯净的 token 级信号；
- 分布均衡性：项目在语义 ID 之间均匀分布，而不是聚集在少数几个 ID 中。
- 码本利用率：持有至少一个项目的 code 占比越高，意味着词表能表达更多的区别。
在测试的八个分词器版本中，我们发现这些内在质量指标与下游排序预测准确率之间存在强相关性。在这些指标上得分较高的分词器版本，其广告模型的 CTR 预测准确率也更高。
分词飞轮
Tokenization 通过挖掘海量商品目录中更深层的语义模式，最大化大批量广告投放的效率。对于曝光较少的长尾广告，tokenization 让广告推荐模型能够基于共享的内容结构对它们进行泛化，从而恢复冷启动性能并实现跨实体迁移。当某运动品牌发布下一季越野跑鞋时，即便还没有人看到新广告，tokenization 也能让新产品及其广告复用模型从上一季鞋款中学到的知识。
通过提升长尾广告的预测质量，tokenization 不仅让长尾广告得到更准确的排序，还改善了训练数据，进而提升所有广告的预测质量。这个自我强化的飞轮每转一圈，模型预测的质量就上一个台阶。
LLM 推荐的基础
Tokenizer 的改进并不局限于它最初调优的那个模型。通过 diversity loss、死代码重置和对比学习目标来优化 codebook 质量，用它产出的 token 训练生成式推荐模型时，下游性能会有可衡量的提升。我们在 LLM 原生检索方面的工作展示了这条路能走多远：基于共享 LLM encoder 的双塔架构在检索质量上达到 SOTA 的同时仍能高效部署，用一小部分训练数据就媲美经典双塔的性能。在此基础上，我们正在同一套词表之上扩展推理感知排序。
GenRecs Tokenization 的未来
我们将沿三个方向继续推进 GenRecs Tokenization，逼近 ROI 最优的边界：
深化冷启动泛化：长尾广告库存是语义 token 贡献最大、对广告主影响也最大的地方。我们正在扩大 tokenization 对所有商品的覆盖，为广告主带来更好的效果。
把 tokenizer 质量作为一等优化目标：对齐互动信号的训练、统一的跨实体词表，以及 codebook 改进都是我们持续投入的方向。由于内在质量指标可以预测下游排序收益，我们无需等待完整的模型训练周期就能对 tokenizer 进行迭代。
高效部署基于 LLM 的架构：完全语言化的分词方式为模型提供了对广告最丰富的理解视角，但在大规模广告投放场景下，所需的上下文窗口长度并不实用。我们正尝试将压缩后的语言化 Token 与语义 ID 相结合，在保持推理质量的同时，确保延迟在可接受范围内。 放眼更长远，我们正在探索是否能让这套提升今日广告排序效果的词库，实现跨业务场景的统一表征。一个横跨文本、图片、音频和视频等多种模态、覆盖广告内容的共享 Token 空间，将允许模型用一套统一的表征体系，去推理用户兴趣以及广告主提供的内容，而非依赖将各独立训练出的向量拼凑在一起。 随着推荐系统从判别式打分向包含生成式推理演进，其数据底座也需要从易逝的 ID 进化为稳定的语义表征。GenRecs Tokenization 提供了这一基础，它将 Meta 广告生态系统的复杂性转化为生成式模型可学习、可推理、可生成的词汇表。 致谢 我们感谢 Weifeng Cui、Ling Leng、Luke Simon、Hadar Ohana、Jimmy Chen、Minghai Chen、Chiyu Zhang、Dinesh Ramasamy、Debajyoti Roy、Shawn Shi、Gajanan Golegaonkar、Xiao Yang、Ashkan Aleali、Anuj Gargava、Xizhou Feng、Liquan Huang、Frank Shyu、Xiaoyu Chen、Kungang Li、Chonglin Sun、Matt Steiner、Sandeep Pandey、 Santanu Kolay、Anuj Madan、Tak Yan，以及 Meta 首个大规模广告推荐系统语义分词项目开发和生产化部署团队的全体成员。 分享： 分享至 Facebook（在新窗口打开） Facebook 分享至 Threads（在新窗口打开） Threads 分享至 WhatsApp（在新窗口打开） WhatsApp