=====================
== 端阳的主页 ==
=====================

从Prompt Cache看我们为什么总在重复学习

引言:人类是不是一直缺少一种“缓存”?

大模型里有两个挺有意思的概念:Prompt Cache和KV Cache。

它们处理的是同一件很朴素的事:已经计算过的内容,为什么还要再算一遍?

如果几个请求有相同的Prompt前缀,模型没必要每次都从头跑一遍;如果模型已经读过前面的上下文,生成后续Token时,也没必要反复重新计算之前所有Token的状态。所以有了Cache。

把这个想法挪到人类身上,会冒出一个不太舒服的问题:人类文明积累了几千年,真正能跨大脑直接复用的“缓存”其实很少。

每个人出生后都带着一颗新的大脑。数学、物理、医学、工程、商业这些领域,前人都已经走过很长的路;后来的人还是得花十几年甚至更久,在自己的脑中慢慢搭起一套相近的认识。

我们当然不是从零开始。语言、文字、教育都在帮忙。但和直接把一个训练好的状态装进新系统相比,人的学习仍然很慢。大量重复学习,就是这么来的。

0.从大模型理解“重复计算”

假设有两个彼此独立的请求,甚至来自不同会话,却都带着同一段10万Token的资料作为开头。第一个请求已经处理过这段资料;第二个请求再来时,最笨的做法是重新处理一遍。

这正是Prompt Cache要解决的问题:相同的输入前缀,可以复用先前的计算结果。

KV Cache则发生在同一次生成中。模型按A→B→C→D→E的顺序处理内容,准备生成E时,不需要再从A开始完整跑一次;前面Token形成的中间状态已经留在缓存里,可以接着用。

Cache关心的其实是:过去已经完成的计算,能不能成为下一次计算的起点?

用它来观察学习,不一定严格,却很有启发性。很多人学得慢,不是因为从没见过答案,而是因为答案还没有变成自己能调用的内部状态。

1.每个人出生,都像启动了一个新的模型实例

把人的大脑粗略比作一个神经网络。新生儿就像一个刚启动的模型实例。

这不是说人完全随机初始化。几百万年的进化通过基因留下了不少先验:视觉、听觉、语言学习倾向、运动控制、情绪反应和社会认知,都不是从一张白纸开始。

更接近的说法是:基因给了基本架构和一部分先验,后来的生活经历完成了大规模训练。

难处在于,一个人后天形成的认知结构,很难直接复制给另一个人。

一个数学家花20年形成的数学直觉,可以写成书,也可以讲给学生听。但学生拿到的不是:

load(mathematician_brain_state)

更像是:

read(mathematician_outputs)

然后自己再:

train(my_own_brain)

两者差别很大。前者是加载结果,后者只是拿到材料后重新训练。

2.书籍传递的是Output,而不是Brain State

牛顿可以把知识写进书里,后人不必再重新发现经典力学。这已经是文明很大的进步。但牛顿脑中拥有的,显然不只是一页页写下来的句子。

那里还有很多没被完整写出来的东西:他为什么先想到那个方向;哪些思路试过又放弃;不同数学结构之间有哪些隐约的联系;遇到一个新问题时该从哪里下手;哪些异常值得盯住,哪些噪声可以先忽略。

一本书很难把这些都带走。

书保存的是一个大脑产出的部分Output,不是它全部的内部状态。这也解释了为什么“知道结论”和“真正理解一个领域”之间常常隔着很远的距离。前者可以读到,后者通常得靠反复使用、出错和修正才会长出来。

3.真正昂贵的是“认知结构”

一个资深程序员看复杂的分布式系统设计,可能几分钟就会说:“这里以后大概率要出问题。”

新人自然会问:“为什么?”

资深工程师未必能立刻给出一条完整规则。这个判断往往不是来自某本书的某一页,而是过去十几年里见过的代码、架构选择、线上故障、失败方案和代码审查,慢慢压缩成了一种判断习惯。

他可能只说:“这里可能有静态条件。”这句话是Output。让他得出这个判断的认知结构,却没有随着这句话一起交给新人。

新人仍得写代码、看日志、参与排障,慢慢理解哪些边界最容易出问题。所谓“工程直觉”,很可能就是大量经验在大脑里留下的一种压缩表示。它不神秘,但也不容易口耳相传。

4.人类文明其实一直在发明“弱版本Cache”

从这个角度看,文明史里的很多发明都在做同一件事:减少不同大脑之间的重复计算。

语言是第一层。有人在远处发现猛兽,不必让每个人都亲自去试一次。他说出来,经验就能跨个体传播。

文字把这件事往前推了一步。口头经验容易消失,文字让知识能跨时间保存。两千年前去世的人,仍然能把自己的一部分思考交给今天的读者。

后来的书籍、图书馆、大学、论文、百科全书、互联网和搜索引擎,形式不同,作用相近:尽量让后人少走已经走过的弯路。

它们不是完整的Cache,更像一层层越来越好用的外部记忆。我们不能直接加载别人的大脑,却能拿到越来越多的线索、结果和方法。

5.教育,本质上是一种“知识蒸馏”

教育还做了另一件事:我们不必让每个人都重新经历人类发现知识的全过程。

一个数学定理背后,可能是几十年的摸索、许多失败和几代人的修补。进了教材之后,常常只剩定义、定理、证明和习题。学生用几天或几周,就能接触前人花了很久才整理出来的成果。

这和机器学习里的知识蒸馏有点像。昂贵的探索过程被压缩成教材、课程、定理、方法、案例和标准答案。下一代不用重新搜索所有可能性。

教育已经替我们省掉了很多重复劳动,但它仍有一个绕不过去的限制:知识能复制,认知状态不能直接复制。

6.人类真正缺少的,不是KV Cache,而是Checkpoint

如果严格借用大模型的比喻,更值得看的或许不是KV Cache,而是Model Checkpoint。

一个模型训练了六个月,第二台服务器不需要再训练六个月。它直接加载checkpoint,很快就能拥有已经训练出的能力。人做不到这一点。

一名经验丰富的医生,我们无法把他的“大脑checkpoint”加载进一位18岁的年轻医生。年轻医生还是要上课、实习、看病人、犯错、被纠正。很多技能只能在真实情境里形成。

所以才会出现一个很直观的事实:每一代人都要在生命早期花大量时间,重新搭建前人已经搭建过的认知结构。这里面有必要的成长,也有大量低效的重复。这可能是文明中规模最大的重复计算之一。

7.真正的瓶颈,可能是“大脑写入带宽”

互联网之后,信息本身已经越来越容易获得。很多知识能被瞬间找到,搜索引擎把检索成本降得很低,大模型又能解释、总结、举例、翻译和对比。

可最后仍有一道很硬的限制:一个人大脑一天能真正学进去多少?

把全世界知识都免费摆在眼前,也不会让人一年后同时成为顶级数学家、物理学家、医生、律师和程序员。

这个说法是比喻,但指向很明确:材料的传输速度快,大脑形成稳定能力的速度慢。读过、听过、收藏过,并不等于学会过。

8.AI可能提供另一条路线:不把Cache写进人脑

既然我们不能直接复制一个人的大脑状态,还有另一种办法:把一部分认知能力留在人脑之外。

过去常见的路径是:知识进入人脑,人通过学习形成能力,再独自解决问题。

AI出现后,路径开始多了一种可能:人类知识被AI学习,AI形成某些可调用的能力,人再把它用于眼前的问题。

一些过去必须自己完整掌握的细节,开始可以通过外部系统调用,相当于绕过了一部分“大脑写入带宽”的限制。

9.从“拥有知识”走向“调用知识”

计算机的发展早就经历过类似变化。

程序员不必理解CPU的每一条指令,现代工程师也不需要自己制造操作系统、编译器和网络协议。复杂能力被一层层抽象和封装,更多人可以直接调用前人的成果。

文明的很多进展,其实都在把“每个人都得学会”的东西,变成“知道怎么调用就能完成”的东西。

AI可能把这种变化带到认知任务上。过去,许多知识必须先完全进入你的大脑,才算你拥有的能力;以后,某些知识即使不被完整记住,也可能通过一个可靠的外部系统成为你能使用的能力。

10.AI Agent + 持久化记忆:文明级的共享Cache

普通聊天机器人更像一次性的认知计算。它回答完问题,下一次对话未必还记得你为什么做过某个决定,也不知道哪些方案已经失败过。

带有长期记忆的Agent可以保留更多上下文,例如项目背景、读过的材料、过去的决策、踩过的坑、团队习惯和失败的尝试。这样它不只是回答一个孤立问题,也能接上长期工作里的前因后果。

这种能力像是一种外置的、可持续使用的认知Cache。它不一定比人更懂,但至少不必每次都从零收集背景。

如果这些记忆能在合适的权限下被团队复用,个人经验就不必随着人员流动完全消失。它可以变成一种组织级Cache。

再往前推,才有可能讨论文明级Cache。不过这离现实还很远。记忆的正确性、权限、隐私、来源和更新机制,都是绕不过去的问题。把错误记录得很久,并不会自动让组织更聪明。

11.重新理解文明史

如果从“减少重复计算”的角度回看,人类文明的一部分路径会显得很清楚:

  • 语言,让经验不必由每个个体亲自再做一遍;
  • 文字,让知识能跨世代留下来;
  • 教育,把漫长的探索压缩成可学习的路径;
  • 科学,让知识可以检验、修正和累积;
  • 图书馆,承担长期存储;
  • 互联网,降低复制和传播成本;
  • 搜索引擎,降低寻找信息的成本;
  • 大模型,降低理解、压缩、重组和应用信息的成本;
  • AI Agent + 记忆,开始降低“认知状态无法持续复用”的成本。

都在解决同一个越来越深层的问题:过去已经完成的认知劳动,怎样才能在未来真的派上用场?

12.一个推论:文明的进步,本质上可能是缓存命中率的提高

可以借用一个很粗糙的说法:Civilization Cache Hit Rate。

面对一个问题,如果前人已经解决过,我们能找到并复用它,就算一次缓存命中;如果不知道已有办法,或者找到了也无法理解,只好自己重来,那就是一次缓存未命中。

早期社会的缓存命中率很低,经验大多留在个人和小群体里。文字、印刷术、现代教育、互联网和搜索工具,都让更多已有经验变得可见、可查、可学。

AI可能继续提高这件事,但它不会神奇地消灭缓存未命中。

13.最终问题:如果人类真的拥有“认知Checkpoint”会怎样?

把这个设想推到极端。假设未来脑机接口足够成熟,一位数学家学习30年后,能把某些高级数学的表征保存下来;另一个人能够:

load(math_checkpoint)

那教育的定义可能会变。今天,学习很大程度上是在自己的神经系统里反复训练;未来,也许会出现某种“加载+微调”的方式。

即便未来真的能部分实现,它也未必意味着人类终于不用学习。更可能的是,我们把一部分基础训练压缩掉,把更多时间投入新的领域、陌生的情境和无法预先写进checkpoint的问题里,探索真正未知的东西。

结语:文明一直在解决同一个问题

从语言到文字,从学校到互联网,从搜索引擎到大模型,人类一直在减少一件事:每个大脑都从头再算一遍前人已经算过的东西。

起初我们共享信息,后来共享知识,再后来开始共享方法。而AI可能让我们第一次大规模共享:认知能力本身。

因此,大模型真正重要的意义,也许不仅仅是“一个更聪明的搜索引擎”。它可能代表着一种新的文明基础设施:人类第一次开始建立可以跨个体、跨组织、跨时间持续存在的外部认知状态。

那么,当文明终于能够大规模复用过去已经完成的认知计算,而不再要求每个个体从头学习时,会发生什么?