这篇不是典型论文笔记
源文件里只有一个链接，指向 Learning Beyond Gradients。我把它当成一篇研究随笔来读，而不是论文。
它讨论的点很有意思：持续学习不一定只能通过更新神经网络权重来实现。随着编码 Agent 变强，一套由规则、测试、日志、回放、记忆和补丁组成的软件系统，也可能通过不断迭代获得能力。
作者把这个过程叫 Heuristic Learning。
启发式为什么以前不流行
启发式规则不是新东西。专家系统、规则系统、手写控制策略都存在很久了。问题是维护成本太高。
今天加一个 if 修 A，明天 B 坏了，再加一个 if，后天没人敢删任何东西。系统越长越像补丁堆，最后维护成本超过收益。
这篇文章的关键判断是：编码 Agent 改变了这条维护成本曲线。以前人类维护不起的规则系统，如果能由 Agent 读取失败、修改代码、补测试、看回放、写实验记录，也许重新变得值得拥有。
HL 和 Deep RL 的区别
Deep RL 更新的是神经网络参数。Heuristic Learning 更新的是软件结构：规则、状态机、控制器、测试、日志、记忆、配置。
两者都有状态、动作、反馈和更新，只是更新对象不同。
HL 的优点是可解释、可测试、可回滚。一个有效规则可以直接跳到新策略，而不是靠梯度慢慢爬。旧能力可以固定成 regression tests、golden traces、failure videos、版本 diff。
但它也不是万能。规则也会过拟合，测试也可能太窄，补丁也会破坏旧行为。只是这些问题更像工程维护问题，而不是参数灾难性遗忘。
我最认同的一点
文中有一句意思我很喜欢：一个只增长、不压缩的 Heuristic System 最后会变成 big ball of mud。
这太像真实工程了。能吸收反馈还不够，还要能压缩历史。失败记录要变成测试，局部补丁要重构成简单规则，重复经验要沉淀成模块。
这和前面读到的 Agent memory 综述其实能连起来。Storage 是记录失败，Reflection 是分析失败，Experience 是把多个失败抽象成可复用策略。Heuristic Learning 则把这些经验落到代码系统里。
它适合什么
我不会说 HL 可以替代神经网络。复杂感知、开放语义理解、长程泛化，仍然需要模型。
但在边界清楚、反馈明确、可重放、可测试的环境里，HL 很有吸引力。比如游戏控制、自动化流程、测试修复、规则型业务流程、部署排障。只要失败能复现，Agent 就可以围绕失败建立可维护系统。
小结
Heuristic Learning 给我的启发是：Agent 时代的“学习”不一定只发生在模型权重里。
如果一个系统有测试、日志、回放、规则、记忆和持续修改能力，它也可以在工程意义上学习。真正的难点不是写更多规则，而是让规则、反馈和压缩机制形成一个可长期维护的软件系统。