AI 决策模型或将重塑内容审核

随着决策模型在行业内的普及，一家名为 Musubi 的公司提出了将其应用于内容审核的新思路。本周二，Musubi 宣布推出专为实时审核打造的轻量级决策模型，并开放了模型权重，该模型名为 PolicyLM-1.7B。

其核心思路是接受用自然语言描述的内容策略，并在 50 毫秒内将其应用于消息。Musubi 的模型在成本和速度上旨在媲美支撑大多数社交平台审核功能的传统 AI 分类器。但由于具备现代 LLM 的灵活性，它无需专门训练即可应用复杂策略。更重要的是，当策略更新时，该模型无需重新训练，这使得人工制定政策者能够根据需要进行快速迭代。

Musubi 联合创始人兼首席 AI 官 Filip Jankovic 认为，这为平台管理者提供了一种主动标记内容的方式。

Jankovic 表示：“产品团队迫切希望更好地理解平台上正在发生什么，尤其是在内容量呈指数级增长的情况下。以极具扩展性和可定制性的方式标记所有内容，价值极大。”

自 TypeSafe AI 于 9 月发布 Jev 以来，决策模型已成为 AI 领域的热点，随后 OpenAI 和 Amazon 也相继推出了竞品。与输出文本不同，决策模型输出的是结果概率；在此场景下，模型输出二元判断：内容要么属于该类别，要么不属于。通过将模型输出限制在预设选项中，决策模型在保持 Transformer 架构灵活性的同时，运行速度比大型语言模型更快，成本也更低。

决策模型的一个早期应用场景是规范 AI 代理的异常行为，因此，将同样的技术应用于约束人类的不当行为也是顺理成章的。

值得注意的是，Jankovic 指出他对决策模型的兴趣早于 Jev，可以追溯到 2024 年一个名为 GLiNER（Generalist Model for Named Entity Recognition）的项目，该项目部署了许多相同的技巧。

尽管如此，Musubi 并不避讳这种比较。恰恰相反，公司急于利用人们对决策模型的新关注，让内容审核领域获得更多关注。产品公告中写道：“如果 Jev 引起了你的注意，那么 PolicyLM-1.7B 就是同一种模型，专门为内容审核训练，你可以自行运行。”