我们对AI之后发生的事还一无所知
本文来自微信公众号： 不懂经 ，作者：经叔，原文标题：《我们对AI之后发生的事还一无所知｜不懂经网站》
尼克·博斯特罗姆（Nick Bostrom）不再担心世界末日了。
现在他担心的是乌托邦。
这是《纽约时报》10月1日给他下的最新判断，概括了一位先知二十来年的转向。2014年，这个瑞典人出版《超级智能》，第一次把“AI毁灭人类”从科幻笑话变成一道严肃的计算题。马斯克、奥特曼、盖茨都公开支持过他的警告。
他创办的牛津人类未来研究所，后来成了全世界研究AI存在风险的核心机构。可以说，今天我们听到的每一句末日警告，都能在他那里找到源头。整个AI末日叙事产业，他是鼻祖之一。
现在他说，那枚硬币有两面。而他只给人看了反面。
设想有一天，工作交给机器，疾病有了治疗办法，衰老可以延缓。你想住的房子、想看的风景、想拥有的知识，都能按需获得。连跑步之后的愉悦、苦读之后的领悟，也可以绕过汗水和书页，直接送进你的头脑。
你终于不用为了任何结果受苦了。可当你早晨醒来，把手伸向床头那个能满足一切的按钮，你会发现，自己连起床的理由都需要重新寻找。
我们为这样的世界努力了很久，却几乎没有认真想过，抵达之后怎么办。
这就是波斯特洛姆现在主要忧虑的问题。这位哲学家曾任牛津大学人类未来研究所创始主任，2014年的《超级智能》讨论了机器智能失控的危险。十年后，他又出版了《未来之地》，把思考推向另一端：假如超级智能安全到来，技术发展也一切顺利，人类将如何生活？
在《纽约时报》播客《Interesting Times》的这次访谈中，客座主持人斯宾塞·克拉万（Spencer Klavan）不断追问他。克拉万是《克莱蒙特书评》的副主编，研究古典文学。宏伟设想之外，他想知道一个更亲近的问题：走到尽头，还剩下多少我们熟悉、喜爱的人类生活？
博斯特罗姆的看法是，我们对即将发生的事一无所知，毫无头绪，clueless。一个想看看人类还能长到哪里，一个担心成长会把人类丢在身后。两人的分歧，让这场访谈比一般的AI预言多了一点真实的摩擦。
末日还在，但问题已经往前走了一步
波斯特洛姆首先纠正了一种容易产生的印象：关注乌托邦，并不意味着他撤回了对灾难的担忧。
“我不认为自己的看法发生了根本变化。我更觉得，是世界变了。”
他开始研究超级智能时，这个问题常被当作科幻。那时最有用的工作，是提醒人们提前准备，研究怎样让比我们聪明的机器仍然按照人的意图行事。如今讨论已经热闹起来，继续弹同一根弦，对他而言不再是最有价值的事情。
但风险仍然存在，而且至少要分开两层。
一层是技术上的控制。机器越强，我们还能不能约束它，让它做我们真正希望它做的事情？另一层是人的使用。即使机器完全服从命令，人也可能命令它发动战争、压迫他人、集中权力。一个听话的超级智能，落在恶意的人手里，同样可以成为灾难。
这两层经常被混在一起。我们习惯把AI安全理解成机器会不会背叛，却很少追问，当它忠实执行人的命令时，谁会承受后果。
主持人还问到硅谷流行的一个数字：P（doom），也就是AI导致灾难的概率。有人给出百分之十，有人给出更高的数字。
克拉万问博斯特罗姆：这个数字背后有数学吗？怎么算出来的？
“没有。”博斯特罗姆说，“这个数字出自一个黑箱。”
波斯特洛姆认为，：没有一套大家认可的计算方法。它们主要表达个人的主观不确定程度。小数点和百分号，并不会自动把一种忧虑变成经过测量的事实。
他把自己称为一个忧心忡忡的乐观主义者。知道有真实风险，也期待巨大的好处。
我以前写过AI研究者的辞职潮，讨论过那些亲手参与建造机器的人为什么开始思考交叉之后的人生。这次访谈把那个问题继续向前推。我们确实需要防止最坏的未来，但即使所有防线都守住了，关于人如何生活的功课也才刚刚开始。
我们这代人正在经历的终极大脱钩
为什么最懂AI的人在纷纷离职：“我凝视过无尽的黑夜”
不用上班以后，学校还在训练什么？
波斯特洛姆为这场讨论搭了一个极端场景，叫作“已解决的世界”。他把这样的设想比作一台“哲学粒子加速器”：在极端条件下，排除现实的干扰，观察价值究竟由什么构成。
它包含两项前提：技术已经足够成熟，人类也把治理和分配做得相当不错。每个人都能分到成果，仍然拥有自由，机器承担几乎所有有经济价值的任务，人不必再靠上班换取生活费。
这里的分配条件不能随手略过。
在《我们这代人正在经历的终极大脱钩》里，我讨论过资本与劳动力的连接正在背离：过去资本要扩大生产，往往也需要雇人；当机器能承担更多任务，增长就可能绕开工资。生产能力提高，与普通人得到生活保障，中间还隔着制度和权力。
所以，波斯特洛姆谈的是一个已经跨过这道门槛的思想实验。先假定生活保障有了，再看人会遇到什么。
对不用工作的生活，他没有我们想象中那么悲观。孩子会玩耍、交朋友、发明游戏；经济宽裕、身体健康的退休者，可以旅行、照看家人、发展爱好。无需谋生，本身并不必然把人生变成一片荒地。
真正需要大改的，可能是教育。
他形容今天的学校，是一个接收孩子，然后输出带有质量等级标记的生产者的系统。
这其实很容易理解。成绩、学历、证书，在很大程度上都是劳动市场辨认人的标签。我们反复问孩子，这门课将来有什么用，这个专业能找什么工作。连兴趣也最好附上一份变现计划。
但如果社会不再需要学校源源不断供应办公室职员，继续把教育理解成职业预备，就会显得古怪。波斯特洛姆提议，教育可以转向帮助人过好一生：学会交谈，培养爱好，理解艺术，照顾身体，发展精神生活。
我在《AI逼出了教育的真相，美国大学开始复兴一种古老传统》里讨论过，交出一份漂亮答案，与真正理解，中间存在距离。那篇文章追问的是，怎样确认能力真的长在一个人身上。这次我们还得多问一句：这种能力，最终要服务于怎样的人生？
如果教育能培养出一个善于交谈、能够欣赏音乐、懂得爱与被爱的人，即使他的履历上没有更多可出售的技能，这份教育是否仍然成功？
我们今天听到这个问题，往往先想到一句话：说得轻巧，生活费谁付？波斯特洛姆暂时把这笔账移开，正是为了让我们看见，生活费之外，我们对教育还剩下多少想象。
连爱好都有捷径，努力还通向哪里？
不用上班之后，人可以去健身、读书，把房子布置成喜欢的样子，慢慢补上那些过去一直拖着没做的事情。讨论到这里，未来看起来还像一场悠长的退休。
但这层安慰也经不起继续追问。
现在你想锻炼身体，必须自己去健身房。请一个助理替你举铁，肌肉不会长到你身上。你想装修房子，也得翻目录，比较窗帘和靠垫，在许多不合适的选项中慢慢辨认自己的偏好。
波斯特洛姆接着指出，在他设想的技术成熟状态下，这些过程也可能被跳过。系统比你更了解你的审美，替你挑出更合适的家具；身体改造直接提供训练的结果；你跑步想获得的愉悦，也能通过干预神经系统直接产生。
你当然仍然可以亲自去做。只是每次做的时候，都会知道，旁边摆着一条更短、更有效的路。
这个场景与今天的自动化还隔着很远，但它放大了我们已经能够理解的一种感受。假如你花了一个星期雕琢的东西，系统几秒钟就能完成得更好，那么你还愿不愿意投入那个星期？
我们常用结果为过程辩护。读书为了增长知识，运动为了健康，旅行为了增长见识，学习为了获得能力。把结果直接交到手里，这些辩护就会一项项失效。
波斯特洛姆问：
“究竟什么事情值得为了它本身而做，而非因为它在实践中有助于实现别的目标？”
想到这里，才会发现，我们对效率的热爱里有一块长期无人检查的地方。
工具帮我们省下时间，我们感谢它。下一件工具又省下一些，我们再感谢它。但省下来的时间究竟准备拿来做什么？如果新的工具连那件事也能替我们做好，我们是否还愿意把它省掉？
人类像一条追汽车的狗，波斯特洛姆这样形容我们的处境。
“我们付出了这么多努力，却没有真正想过，如果成功了会怎么样。”
汽车真的被追上了，接下来怎么办？
这也是《终极大脱钩》之外的另一层脱离。那篇文章关心人的劳动如何与收入、社会位置分开；这次访谈追问人的努力如何与结果分开。机器能够生产你想要的东西，却把选择为什么要做、为什么愿意慢慢做的负担，重新交还给你。
一个靠待办清单安排人生的人，可能很难适应这个变化。过去每天都有下一项任务替你回答，现在所有任务都完成了，屏幕空着。
信息时代已死，未来的认知差距会首先体现在这一点｜不懂经网站
比AI信息垃圾场更可怕的，是它正在制造的这条高概率走廊｜不懂经网站
一幅画为什么不能由机器代劳？
波斯特洛姆从快乐与感受本身开始寻找回答。
他不赞成轻率鄙视享受。一个未来如果充满痛苦，当然比人们能够快乐生活的未来更糟。技术也许能让我们对美更加敏感，欣赏今天就在身边、却因为迟钝和忙碌而没有看见的东西。
人在欣赏和享受之外，也想动手，想尝试，想在行动中遇到阻力。
他接着谈到了游戏。
高尔夫的目标，是把小球送进一连串洞里。直接拿过去放进去，当然更有效率。但打球的人偏偏同意，必须用球杆，把一件容易的事情变难。这套限制创造了击球、判断、练习和进步的空间，也让一次漂亮的挥杆值得高兴。
顺着这个思路，未来的人可以自愿设置障碍，参加运动、演奏音乐，进行各种今天还想象不到的活动。效率解决了生存问题之后，人或许会花更多时间选择值得经历的困难。
主持人对此仍然不满意。他担心这种生活所有的利害关系都是人为安排的，最终变成一场精致、无穷无尽的游戏。
波斯特洛姆又提出一类更实在的目的：有些事情，价值恰好依赖于谁来做。
想象孩子在你生日时送来一幅蜡笔画，线条歪斜，颜色乱涂。机器人能画得更漂亮，网上也能下载更精美的图片。但你珍惜这张纸，是因为孩子决定为你画，花了时间，带着自己的心意把它交给你。
孩子有一个真实的理由去画这幅画。他的行动，在另一个人的生活中占有位置。
类似的价值也存在于传统和仪式里。一个人自己唱赞美诗、参与节庆，与造一台机器人替他执行程序，不能简单画上等号。机器完成了动作，人的承诺却无法随动作一起外包。
这里值得进一步思考的是，讨论AI替代时，我们常问这项任务能否由别的东西完成。但很多人际关系问的是：你愿不愿意为我做？
这两个问题可以得到完全不同的答案。一封信写得是否优美，与它是否由那个你在等的人写来，是两种价值。照护的技术水平，与某个人选择留下来，也各自有重量。
波斯特洛姆随后用了一个关于星空的比喻。饥饿、疾病、贫困和不公，像白昼的太阳，强烈、迫切，要求我们立刻行动。另一些更细微的价值，如同夜空中的星座：
“它们白天也在那里，只是被太阳的强光遮住了。”
当那些迫切要求退去，我们的瞳孔也许才能慢慢张开，看见更多审美、精神和关系中的理由。有时我们选择更费事的做法，只因为用这种方式完成它，本身就很美。
未来的人，能不能把今天的人挤出账本？
主持人把问题重新拉回现实：既然你能设想这么宏大的未来，今天到底应该怎样选择？
这个追问涉及波斯特洛姆与有效利他主义的关系。按他在访谈中的解释，这种思路试图更理性地比较，有限的钱和行动可以在哪些地方产生更多好处。从改善眼前的慈善效果，进一步延伸到人类长期的生存与风险。
他的思想影响过这些讨论，但他明确说，自己不会把自己称为有效利他主义者，也并非功利主义者。
主持人的担忧是，如果把遥远未来可能存在的无数生命全放上天平，今天活着的人会不会立刻轻得像没有重量？为了那个宏伟前景，我们是不是可以接受监控、牺牲自由，甚至让当下的人生活得更糟？
波斯特洛姆承认，某些功利主义前提确实会推出这样的结论。他早年的《天文数字般的浪费》就讨论过相关推论。但探索一种伦理理论会把我们带到哪里，与认领它推出的每个结论，是不同的事情。
他用“道德议会”形容自己的选择方式。
在这个议会里，有关心总体福利的代表，有坚持权利和义务的代表，有重视品格、照护与关系的代表，也有特别关心自己和家人的代表。它们需要协商，不能让某一套理论凭一个巨大的数字包揽全部决定。
主持人还提到他对“脆弱世界”的研究：假如某种技术让少数人就能制造文明级灾难，社会会需要怎样的防护？波斯特洛姆强调，自己没有对极端监控或全球治理作整体背书。这篇论文确实提出了支持发展相关能力的理由，也讨论了专制与滥用的危险，明确没有对总体利弊作出判断。
他在访谈里还表达了另一重担心：社会更容易过早接受监控，而非过于谨慎地拒绝它。
但克拉万觉得，澄清了理论的边界，眼前的选择仍然悬着。你已经画出许多可能，却没有清楚说明，你希望保住怎样的生活，哪些部分的人性可以修改，哪些不能。
波斯特洛姆承认，他也希望自己能提供更多指引。
这场交锋留下一个无法抹平的困难。思想实验可以帮我们看见价值，却不能替我们决定代价由谁支付。尤其当许诺在遥远未来兑现、牺牲却发生在今天的时候，追问那个具体的人是谁，就不能省掉。
人类是在长大，还是在告别自己？
谈到最后，波斯特洛姆终于给出了一幅更接近个人愿望的图景。
他希望先减轻最难忍受的痛苦，让人不必在刚积累一点智慧和经验之后，就看着大脑衰退，记忆丢失，生命结束。如果健康能维持得更久，人可以慢慢编篮子、航海、学音乐，把那些值得读的书真正读进去。
“一本伟大的书，你不想只是匆匆读完。你需要和它一起生活一段时间。”
这个愿望很容易亲近。少一点匆忙，多一点真正住进一件事情里的时间。
可他并不想把旅程停在这里。也许经历了足够漫长的人类生活之后，我们会愿意增加一点思考能力，扩大一点感受的范围，进入此前无法理解的经验，再一点点成长。
在他看来，我们今天无法想象那些价值，并不能说明它们不存在。他用猿类作比喻：如果猿类只能想象更多香蕉，它就无法预见人的文学、爱情、宗教和幽默。人也可能以同样狭窄的尺度，估量比自己更丰富的存在。
这一次，克拉万直接拒绝了。
“我确实喜欢人类。”
他喜欢的美、正义、爱和真理，与我们这种生命的形式相连。身体的局限、痛苦、死亡，也在塑造人的经验。如果把这些全改掉，得到某种拥有陌生目标和欲望的巨大心智，他不确定那还是什么值得前往的地方。
波斯特洛姆的回应，是孩子长成大人的比喻。成人的身体、兴趣和思想，与小时候相差很大，我们仍然觉得成长是好事。他希望未来的变化也能带着珍贵的部分一起走，让人增加新的层次。
他说，我们已经探索过的存在方式，或许只是巨大教堂里的一间小小杂物间。断定这里已经是最好的地方，未免太自负。
这两种立场都有情感根基。波斯特洛姆不甘心把已经拥有的生命形式当作上限，克拉万舍不得让熟悉的人类生活成为等待升级的旧版本。一个相信尚未展开的可能，一个依恋已经能够辨认的美。
我不愿意把这段分歧轻率归结为乐观与保守。它触到了我们今天每次把一件事交给AI时，都能缩小着体验到的问题：我希望得到更好的结果，也希望那个经历、理解、改变的人，仍然是我。
想象一个孩子把歪歪斜斜的画拿给你。你能替他润色，能替他选颜色，也能让机器直接画好。可你要怎样判断，帮助在哪里结束，接管又从哪里开始？
对话临近收尾，克拉万问：这一切，对现在有什么用？我们眼下要做的决定，是让技术继续跑，还是刹车？
博斯特罗姆给了一个画面：我们像一条追汽车的狗。
玩命地追。从来没想过追上之后怎么办。
十年前他写《超级智能》，是提醒狗：这辆车可能会碾死你。十年后的今天，车已经近到能看清轮胎纹路了。他这次想说的事更陌生：也许你真的追得上。那然后呢？
我们之前介绍过，麦克卢汉认为，一切媒介推到极致，都会翻转成自己的反面。AI推到极致，翻转出来的东西，可能不是毁灭，是一道关于意义的算术题，而我们还没人开始演算。
眼下所有关于AI的公共讨论，问的都是同一个问题：它会不会毁掉我们。这个问题有答案可争，有立场可站，甚至有钱可赚。而博斯特罗姆在问的另一个问题，没有答案，没有立场，也没有生意：万一它成功了呢？成功以后，你靠什么过日子？
临近结束，博斯特罗姆说了一句话。他说，关于那之后的世界，我们这些从今天出发的人，在深层意义上，一无所知。
承认这一点，或许才是他给出的唯一可靠指引。【懂】