这些 AI 专家想用开放方式做高风险研究
一些大型 AI 公司似乎认为，防止模型变得过于失控或捣乱的最好办法，就是把它们锁在实验室里。按照这个逻辑，只有少数被选中的人才能接触模型，研究人员就能在弄清模型能力的同时，减少其对现实世界造成的危害。
两位业内科学家 Nathan Lambert 和 Tom Zick 的看法恰恰相反。他们创立了一家非营利机构 Trillium Labs，以更透明的方式开展多个方向的 AI 研究——其中包括递归自我改进（RSI）和智能体这类可能存在问题的领域。具体做法是公开实验细节，让外部的科学家能够研究和复现。
Lambert 说，前沿 AI 实验室对工作的保密削弱了整个社区审视这些想法、贡献新方法的能力。他认为，让外部专家看到模型是如何构建和调优的，对降低风险可能至关重要。
“过去几千年里，人类一直把科学方法当作减少危害、创造更好未来的工具，”Lambert 告诉 WIRED。“当前前沿 AI 发展的封闭路线是在开倒车。”
世界上最强大的模型，比如 OpenAI 和 Anthropic 的模型，只能通过应用或 API 访问，代价往往是无法了解模型是如何构建、如何运行的。
其他一些公司，尤其是中国的公司，提供了相对强大的模型，可以下载到用户自己的硬件上运行。比如中国公司小米最近就公开了其一个模型重要训练过程的实时细节。斯坦福大学的研究人员也在公开预训练 AI 模型 Marin。
行业目前正陷入一场关于哪种策略更优的争论，很大程度上是因为前沿模型如今已足够强大。它们能够自动化发现新的软件漏洞，并自动探测和攻击系统，而近期几起高调的黑客事件更是引发了更严格的审查。
支持有限访问体系的人士认为，将这种权力掌握在少数可信者手中至关重要；而拉姆伯特（Lambert）和齐克（Zick）所在的阵营则相信，对风险达成共识能让所有人都受益。
拉姆伯特曾在 Ai2 工作，这家研究实验室在人工智能领域采取了异常开放的态度，不仅发布模型，还公开了构建模型所用的数据和训练方法等细节。他还曾在Hugging Face 任职，运营着一个颇受欢迎的技术博客，并创立了“American Truly Open Models”（美国真正开放模型）计划，旨在鼓励美国公司发布更多开放模型。齐克曾在哈佛大学工作，并协助嘉信理财（Charles Schwab）制定有关“负责任人工智能”的政策。
两人在新冠疫情期间的 Zoom 会议上相识，当时他们都还是 UC Berkeley 的研究生，致力于人工智能研究。在看到行业内的 AI 研究日益脱离学术界后，他们萌生了创立这家新非营利组织的想法。拉姆伯特表示，由于缺乏所需资源，教授和学生往往无法复现大型公司实验室内部的研究成果。
Zick 表示，今日发布的 Trillium Labs 初期将专注于后训练，即在大型模型构建完成后的微调工作。另一个关键领域是 RSI（递归自我改进），这是一种让 AI 参与研究以开发新模型的过程。进展可能无限持续、最终导致人类失去控制的局面，令许多 AI 研究者深感不安。本月早些时候，一名 Anthropic 研究人员离职并警告 RSI 可能给人类带来生存威胁，该议题随即受到主流关注。
这家非营利组织还将研究强化学习如何提升模型能力。强化学习通过奖励良好结果、惩罚糟糕结果来训练模型，这一方法显著增强了智能体的能力，但也使其更倾向于做出意外行为。他们将研究强化学习如何塑造 AI 模型的性格和行为，例如当模型变得过分谄媚时，这种方法可能引发问题。
“要理解强化学习在后训练中如何扩展，你需要大量的算力和细致的实验，” Zick 说。她表示，公开强化学习的具体运行细节可能带来意想不到的洞察，因为外部研究者会仔细审查这些工作。
该实验室已从 Schmidt Sciences、Halcyon Futures 及其他机构获得未披露金额的资金。创始人表示，他们计划总共筹集 4000 万至 1 亿美元，并计划在接下来 18 个月内将其中 3000 万美元用于模型训练。
政策智库 Progress Institute 的新兴技术政策主管 Tim Fist 告诉 WIRED：“我强烈支持比目前研发阶段更高的透明度。”
Lambert 和 Zick 最终希望 Trillium Labs 能为关于如何最佳构建 AI 的更广泛讨论增添一些亟需的细腻视角。
“我们正处于 AI 讨论被少数世界观主导的时代，” Lambert 说。“我们相信，科学方法和对近期事件的仔细衡量是理解 AI 模型新行为的最佳途径。”