Runway 的 Solaris:实时生成软件界面的 AI 系统
要点
- Runway 发布了 Solaris,这是一种“Interface World Model(界面世界模型)”。它不以代码形式运行用户界面,而是实时渲染界面,并直接响应点击或语音操作。
- 该系统旨在用能随用户动态变化的环境取代固定应用,未来或可用于互动购物、可视化教程等场景。
- 由于文字渲染仍容易出错,且不支持屏幕阅读器,这一基于 Gen-4.5 视频模型构建的系统目前仍处于研究阶段。
AI 公司 Runway 发布了 Solaris,这是其所谓“Interface World Model(界面世界模型)”这一新类别中的首个模型。它不运行代码,而是随着用户操作,逐帧生成用户界面。
传统做法是先把设计转换成代码,而 Solaris 会直接以 720p 渲染界面,并响应点击、拖拽或语音指令。这彻底改变了软件的常规工作方式:通常由操作系统决定屏幕显示什么,应用也会一直保持不变,直到开发者发布更新。
Runway 列举了多个应用场景。例如在网购中,商店本身就会变成界面:用户可以把一件衣服拖到自己的照片上,直接查看试穿效果。商店不再是固定布局,而是会根据每位用户进行调整。
在产品可视化场景中,用户可以说“把桌子移开”或“换个沙发颜色”,场景会立即作出反应。Runway 认为,这一能力适合家具选购和室内设计规划。
该公司还看好 Solaris 在教程和学习领域的应用。它不会像聊天机器人那样只给出文字答案,而是会结合当前情境,用视觉方式展示下一步操作,例如演示不同材料的燃烧过程。
Runway 希望固定形态的“应用”彻底消失
Solaris 基于 Runway 的视频模型 Gen-4.5 构建,延续了公司从 GWM-1 开始探索的方向。语言模型负责决定界面如何变化,世界模型则渲染每一帧画面。Runway 还将 Solaris 视为训练 AI agent 的试验场。如今,AI agent 在预订酒店等任务上仍经常失败,因为它们接受的是固定布局训练,遇到不符合既有布局的网站就难以应对。
Runway 更大胆的判断是:作为固定单元存在的“应用”终将消失。如今,完成一件事通常意味着打开对应的预制应用——购物用一个,发消息用一个,预订服务再用一个。如果操作系统能够自行生成合适的界面,就没必要再把软件归入固定的应用目录。
届时,在线商店不再是所有人看到的同一种固定布局,而会变成能够适应每位用户的生成式环境。不过,人们是否真的希望界面不断变化,Runway 并未给出答案。
目前距离这一愿景落地还很遥远。Runway 表示,稳定、易读的文字仍是一个棘手难题,尽管界面高度依赖文字。长时间运行和可靠性也有待验证;一个看似合理却实际错误的结果,可能比什么都没有更糟。生成的界面还必须兼容屏幕阅读器等辅助技术。
因此,Solaris 目前仍是一项研究项目。Runway 正在寻找合作伙伴,为发布做准备,并通过表单提供早期体验申请。