← 文章 / AI技术
The Decoder 3小时前 · 2026-10-06 22:32:05 · 10 阅读

研究者将 LeCun 的 JEPA 扩展为通用世界模型,覆盖物理到生物领域

Image description

要点

  • JEPA-Anything 模型将 Yann LeCun 开创的架构扩展成一个世界模型,可应用于物理、机器人、医学等多个领域。
  • 该方法把未来状态拆分成多个局部预测,而不是全部塞进单一预测,因此能捕捉到标准模型容易忽略的模式。
  • 该模型还发现了一个肝癌治疗候选方案,在实验室样本和小鼠实验中,其杀死肿瘤细胞的效果优于任何单一组分。

研究人员扩展了 Yann LeCun 开创的 JEPA 架构,使其能够应用于七个截然不同的领域。这项工作还催生了一个候选肝癌治疗方案,团队已在实验室进行了测试。

世界模型用于预测系统的演化方向,无论对象是机器人、分子还是患者的健康状况。到目前为止,每个领域通常都需要各自独立的模型。由 PhAI Labs 牵头、联合 Stanford、Oxford 和 Princeton 研究人员的团队想证明:只需一个共同原理就够了。

他们的论文提出了 JEPA-Anything,其基础是联合嵌入预测架构(JEPA)。这类模型不像传统方法那样重建像素等原始数据,而是预测缺失状态或未来状态的抽象摘要,从而过滤掉无关细节。作者认为标准方法存在一个弱点:所有信息都被压缩进单一预测,简单的模式往往会淹没更难的模式。

用多个专用预测取代单一预测

JEPA-Anything 将待预测的状态拆分为多个部分,每个部分由独立的预测模块处理。通过附加的约束机制,各模块被迫捕捉不同侧面而非重复学习相同内容,最后模型再把各模块的局部预测重新整合成完整图景。

JEPA-Anything概览图。顶行展示了从视觉到天气的七个领域。下方将采用单个预测器的标准JEPA与采用四个独立预测器的JEPA-Anything方法进行对比。底部依次展示了终端读出、潜在世界动态和科学分析三个评估组。
与标准JEPA不同,JEPA-Anything将预测状态分解为四个正交因子,每个因子配备独立的预测器,随后将这些因子重组为完整的状态信息。图片来源:Meta

研究人员没有预设各因子的具体含义,而是让它们在训练过程中自然浮现。他们所做的改变仅限于为不同领域准备数据的方式。

动态测试显著提升,机器人测试结果喜忧参半

研究团队将JEPA-Anything与同架构、同数据、同训练条件下训练的标准JEPA进行了对比。动态系统的增益最为明显:在简化版乒乓球环境中,若实施定向干预,预测误差下降了35%;对于训练阶段从未见过的干预组合,误差下降了13%。

根据作者描述,JEPA-Anything在涵盖物理、机器人和天气预报的十项测试任务中,表现持续优于基准模型。在流体力学的常见基准——Burgers方程测试中,另一项独立评估显示误差降低了近一半。在50个预测步骤中,该优势得以保持,但缩小至约3%。该方法在水、石英、对乙酰氨基酚和苯的模拟中也得分最高,即使在100步预测后依然如此。

左侧柱状图展示了 JEPA-Anything 相较于标准 JEPA 在九项任务中的相对 MSE 降低幅度,从 Burgers 的 39.7% 到 DMC 像素动力学的 0.4%。右侧图表显示了 CausalWorld 中带有误差棒的闭环回报。
JEPA-Anything 在物理流方程上的收益最大,而在像素动力学上,其相对于标准 JEPA 的优势微乎其微。 | 图片来源:Met

在单细胞数据上,该模型对细胞类型的分类更为可靠;在临床数据上,它对一千多种潜在疾病事件的预测略有提升。在图像任务上,差异不大。在模拟行走机器人的运动规划中,JEPA-Anything 在三个环境中的两个获胜,而标准模型在第三个环境中占据优势。

模型标记了一种肝癌治疗方案,团队随即进行了验证

团队最大胆的结论来自肝癌研究。研究人员分析了模型从包含基因活性、蛋白质水平及 CRISPR 筛选数据的生物学数据中学到的部分预测。排在前位的候选方案将 IL-18(一种激活免疫细胞的信号分子)与 CD73 酶抑制剂(肿瘤利用 CD73 抑制邻近免疫反应)相结合。

团队在肝癌细胞与免疫细胞的共培养体系中、每个三位患者的类器官和肿瘤组织样本中,以及在小鼠身上测试了这一组合方案。在类组织和组织样本中,该组合比单独使用 IL-18 或 CD73 抑制剂杀死了更多的肿瘤细胞,且 T 细胞和自然杀伤细胞表现出更强的激活状态。该研究并未证实这一方案能否成为实际的疗法。

柱状图显示来自三位肝癌患者的类器官和肿瘤碎片的实验结果,对比了对照组、IL-18、CD73 抑制剂以及两者联用四种条件下被杀死的肿瘤细胞和被激活的免疫细胞比例。
模型提出的 IL-18 与 CD73 阻断联用方案,在类器官和肿瘤碎片实验中杀死了最多的癌细胞、激活了最多的免疫细胞。| 图片来源:Meta

在第二个案例中,研究者在不含任何物理量的模拟轨道数据上训练模型,结果模型学到的规律与开普勒第三定律几乎完全吻合——该定律指出,轨道越大的天体运动越慢。定律给出轨道频率与轨道尺寸的 -1.5 次方成正比,而模型得出的指数是 -1.4991。不过团队只评估了一次训练运行,而且是挑选了误差最低的那一次。

作者提醒,学到的各部分能够清晰分离,并不代表它们真正捕捉到了因果关系。这种模型要到什么程度才足以可靠地指导实验设计,也仍是未知数。而这正是团队的长远目标:让 AI 智能体借助 JEPA-Anything 提出并排序实验方案,再把实验结果反馈回模型。相关代码和模型均已公开。

LeCun 于 2022 年提出了 JEPA,作为生成式模型的一种替代方案。2025 年 6 月,Meta 发布了 V-JEPA 2,这是一个拥有 12 亿参数的 JEPA 视频模型,能够在无需额外训练的情况下,控制机械臂在陌生环境中执行任务。2025 年 11 月,LeCun 和 Randall Balestriero 随后推出了 LeJEPA,这是一种理论框架,旨在没有常规变通方法的情况下保持训练稳定性。LeCun 目前正通过他的初创公司 AMI Labs 推进这一路线,该公司在 2026 年 3 月融资超过 10 亿美元,用于构建世界模型。

Google Deepmind 早在 2025 年 10 月就已在实验室中验证了 AI 生成的癌症假说。其基于 Gemma 的模型 C2S-Scale 27B 提出使用药物 silmitasertib 来使肿瘤细胞对免疫系统更加可见,随后使用人类细胞模型的实验证实了这一预测。Google Deepmind 的多智能体系统 Co-Scientist 现在能够规划实验并操作实验室设备,涵盖了 JEPA-Anything 团队希望构建的流程中的部分环节。不过,将样品装入机器仍然需要人工操作。

原始来源: The Decoder

评论 (0)