开发者将 AI 语言模型压缩至软盘,赋能 486 及 Pentium 老式电脑
一位颇具灵感的开发者成功将一个语言模型塞进了一张专为运行 DOS 系统的 486DX 和 Pentium 电脑用户制作的软盘中。需要注意的是,WollyMonjac 的项目并非大型语言模型(LLM)。尽管它与那些更庞大的“兄弟”模型共享 Transformer 架构,但 Tiny 2.1 的官方描述相当谦逊:“一个用 Turbo C 2.0 编写的微型问答 Transformer。”
软盘的空间极其有限,一张典型的 486 时代格式化的 PC 软盘数据容量仅为 1,475,000 字节左右。Tiny 2.1 已尽力榨干这仅剩的空间,其内容如下:
- 367,000 个参数:4 层结构,宽度 96,逐字符读取和写入
- 8 位权重(每行一个标度),总大小 380 KB
- 在约 3,500 条事实上进行训练,每条事实有多种措辞表达
你那台吱呀作响的老 PC 需要约 540KB 的常规内存空闲空间才能运行 Tiny 2.1。如果你动手测试,我相信你会欣赏其简洁的用户界面,包括对话历史窗格、神经监控面板和“询问 Tiny”提示窗口。正如所有 DOS 程序那样,界面中高亮显示了一系列 F 键快捷键。不过,最令人心动的复古未来风彩蛋,或许是可以用 PC 蜂鸣器播放的机器人语音来朗读回复。
我们之前已经提到,这位开发者对这个 DOS 程序显得相当低调。GitHub 仓库描述其由 “Fable 5.2 编写,Opus 5.5 训练”。Monjac 还略带讽刺地承认,除了训练数据之外,“它会自信地胡编乱造”。最近几个月关于 LLM 幻觉的讨论热度有所下降,但在 Tiny 2.1 这里,这种特性几乎成了一种有趣的卖点。
如果你觉得 Tiny 2.1 的知识盲区碍事,WollyMonjac 也在 MIT 许可的分发包里附带了训练文件夹。肯下功夫的用户完全可以为 favorite 领域打造一个称职的问答 Transformer。
如今让老软件在新硬件上跑起来并不难,总有办法可循。但反过来也并非不可能:让现代应用或游戏跑在几十年前的老硬件上,正成为一种令人兴奋的开发趋势。除了主角 Tiny 2.1,我们还报道过不少类似的新旧碰撞项目,比如DOS 上的 ChatGPT 客户端、跑在 Game Boy 上的 Minecraft、用生成式 AI 在 C64 上生成图像,以及在 Atari ST 上玩 Doom。