Posts on 📝Mocong's Blogs

自进化智能体如何进化？

Fri, 17 Jul 2026 00:00:00 +0000

文中所有方法名称后的括号（如 Reflexion (Shinn et al., 2023)）均为原论文中引用的文献来源；章节号（如 §5.1）对应原论文章节。

一、先搞懂：这一章到底在讲什么？

想象你养了一只"AI 宠物"（智能体 Agent），你希望它越用越聪明，而不是永远停留在出厂水平。问题是：怎么让它变聪明？ 这就是 “How to Evolve”（如何演化）要回答的问题。

用论文的正式语言说：自演化智能体需要一个"演化策略"，把系统从旧状态 Π 变成新状态 Π′（§5 引言）。传统做法是"一次性训练"——就像上学时一次性考完试就再也不学习了；而自演化强调的是一个持续进行的过程：智能体从真实交互中学习、主动寻求反馈、自我反思、自己生成或筛选新数据，并随环境变化调整策略（§5 引言）。

论文把目前所有的"进化方法"归纳成三大流派，它们像三代技术一样依次出现，每一代都在弥补上一代的缺陷（§5 引言）：

流派	一句话理解	好比	优点	缺点
① 奖励驱动（Reward-based）	做对给糖吃，做错给批评	训练宠物用零食	目标明确、自主性强	“糖"的设计很难，设计不好就学歪
② 模仿学习（Imitation-based）	直接抄学霸的作业	看例题学解题	学得快、学得稳	只会模仿，探索新招的能力弱
③ 种群进化（Population-based）	养一大群，优胜劣汰	生物进化/养蛊	能发现意想不到的新方法	非常烧钱（计算量大）

论文原话总结这条演进路线：奖励方法首先"闭合了反馈回路"但脆弱且昂贵；模仿学习用高质量示范让演化更稳定，但有时牺牲了探索；种群进化则把适应扩展到集体规模，强调多样性与涌现协作——三者共同勾勒出**“从个体自我提升走向集体智能”**的轨迹（§5 引言）。

二、第一流派：奖励驱动的自演化（§5.1）

核心思想：给智能体一个"反馈信号”（奖励），让它根据反馈迭代改进自己。关键在于奖励信号怎么设计。论文按反馈的来源把方法分成四类（§5.1，对应原论文 Figure 6）：

2.1 文本反馈（Textual Feedback）——用"自然语言"当奖励

不给你打一个分数，而是直接用语言告诉你"哪里错了、该怎么改"，就像老师批改作文写评语。

Reflexion (Shinn et al., 2023)：提出"语言强化学习"（verbal reinforcement learning）。智能体用自然语言反思过去的失败，把反思存进"情景记忆"，下次决策时参考。好比每次考完试写错题本。
AdaPlanner (Sun et al., 2023)：闭环自适应规划——根据"计划内"和"计划外"的反馈修改计划，还能减少幻觉。
Self-Refine (Madaan et al., 2023a) 和 SELF (Lu et al., 2023)：让模型多轮"自我批评、自我修改"，证明即使是最强模型也能靠自我反馈继续提升，不需要额外监督数据。
TextGrad (Yellamraju et al., 2024)：把文本批评类比成深度学习里的"梯度"，用"文字版反向传播"优化系统。

小结：语言作为奖励通道，细腻、灵活、省样本（§5.1 Textual Feedback 段）。

Windows中Codex沙箱账户的删除

Wed, 15 Jul 2026 22:01:10 +0800

首先需要删除Codex的帐户。打开终端，输入以下命令：

net user

找到

CodexSandboxOnline
CodexSandboxOffline

执行以下命令删除账户：

net user CodexSandboxOnline /delete
net user CodexSandboxOffline /delete

接下来删除Codex的用户组，输入：

net localgroup

找到

*CodexSandboxUsers

执行以下命令删除用户组：

net localgroup CodexSandboxUsers /delete

5.1 Exercises

Mon, 13 Jul 2026 14:46:00 +0800

Show that adding layers to a linear deep network, i.e., a network without nonlinearity can never increase the expressive power of the network. Give an example where it actively reduces it.

线性网络（无激活）：矩阵乘法必然坍缩

多层线性网络等价于一个线性变换：
\(\mathbf{y} = \mathbf{W}_L \cdots \mathbf{W}_1 \mathbf{x} = \mathbf{W}_{\text{eff}} \mathbf{x}\)
有效权重矩阵的秩受瓶颈限制：
\(\text{rank}(\mathbf{W}_{\text{eff}}) \le \min\limits_i \text{rank}(\mathbf{W}_i)\)
如果中间层宽度小于输入/输出维度，信息被永久压缩，无法恢复（例如无法表达满秩映射）。

非线性网络（有激活）：逐元素操作破坏线性相关性

线性部分的输出经过非线性函数（如 ReLU）：
\(\mathbf{h}_{i+1} = \text{ReLU}(\mathbf{W}_{i+1} \mathbf{h}_i)\)
ReLU 会将所有负值归零，这一“剪切”操作破坏了矩阵行/列之间的线性相关性。
原本线性相关的行（成比例）经过不同的截断后，变得不再成比例，因此矩阵的秩在非线性层之后显著增加，逼近该层的维度上限。

本质对比

网络类型	数学本质	对秩的影响
线性深度网络	矩阵乘积	秩单调不增，受瓶颈限制
非线性深度网络	复合非线性函数	每层非线性可恢复/提升秩，打破瓶颈

Compute the derivative of the pReLU activation function.

\[ \frac{d}{dx} \text{PReLU}(x) = \begin{cases} 1 & \text{if } x > 0 \\ \alpha & \text{if } x < 0 \\ 未定义（实践中取\alpha或1） & \text{if } x = 0 \end{cases} \]

Compute the derivative of the Swish activation function \[ x\ sigmoid(\beta x) \].

\[ \frac{d}{dx} \text{Swish}(x) = \sigma(\beta x) + \beta x \cdot \sigma(\beta x) \cdot (1 - \sigma(\beta x)) \]

Show that an MLP using only ReLU (or pReLU) constructs a continuous piecewise linear function.

设 \( f \) 是连续分段线性函数，其线性区域集合为 \(\{\mathcal{R}_i\}_{i=1}^m\)，每个区域为凸多面体。

ReLU如何缓解梯度消失

Mon, 13 Jul 2026 00:00:00 +0000

1. 背景：梯度消失的本质

在深度神经网络中，梯度消失（Vanishing Gradient）是指反向传播时，越靠近输入层的梯度越小，甚至趋近于零，导致浅层参数几乎无法更新，网络难以训练。

其数学根源是 链式法则 下的连乘效应：

\[ \frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial y^{(L)}} \cdot \prod_{k=l}^{L-1} \left( W^{(k+1)} \cdot f'(z^{(k)}) \right) \]

其中 \( f' \) 是激活函数的导数。如果每一层都乘以一个小于 1 的数，连乘结果会指数级衰减。

2. 传统激活函数的"饱和"问题

Sigmoid

导数范围：\((0, 0.25]\)
在两端（极大/极小输入）导数趋近于 0
深层网络中，梯度被逐层压缩到原来的 1/4 以下

Tanh

导数范围：\((0, 1]\)
仅在 0 附近导数为 1，两端迅速饱和
虽然比 Sigmoid 稍好，但仍存在严重衰减

这两者的共同点是：处处都可能饱和，且导数最大值 ≤ 1。

3. ReLU 的数学特性

ReLU 定义：

\[ f(x) = \max(0, x) \]

其导数极其简单：

\[ f'(x) = \begin{cases} 1 & x > 0 \\ 0 & x < 0 \end{cases} \]

关键点在于：

自进化智能体的稳定性调查

Fri, 10 Jul 2026 00:00:00 +0000

自进化智能体的稳定性：多维度分析

稳定性：一个多面体概念

自进化智能体的"稳定性"不是单一维度——它同时涉及多个层面的问题，贯穿从方法选择到评估测量的全过程。与传统静态 AI 系统不同，自进化智能体的稳定性必须在其持续适应和修改自身的动态过程中理解。

稳定性在自进化研究中的多重含义：

维度	核心问题	时间尺度	相关章节
性能稳定性（Retention）	新学习是否侵蚀已有知识？	中等—长期（任务间）	Ch7 Evaluation
行为稳定性（Safety）	进化过程中价值观和对齐是否漂移？	长期（整个部署周期）	Ch8 Future
方法稳定性（Method）	不同进化方法对超参数/初始化有多敏感？	短—中期（单次进化 loop）	Ch5 How-to
收敛稳定性（Convergence）	自博弈/群体进化是否收敛到有意义解？	中期（多代进化）	Ch5 群体型
归因稳定性（Credit Assignment）	谁/什么对进化结果负责——进化过程本身还是环境随机性？	跨时间尺度	Ch7 Evaluation

1. 性能稳定性：知识保持（Retention）

定义：衡量自进化智能体知识库的稳定性——核心挑战是灾难性遗忘。

核心指标

指标	含义	理想值
Forgetting (FGT)	旧任务性能退化的程度	越低越好
Backward Transfer (BWT)	正 BWT = 新学习对旧任务有正面效益	正值最优

覆盖差距：最欠缺的评估维度

论文第七章明确指出，Retention 是五大评估目标中最欠缺的维度：

记忆回放的容量天花板：当前记忆机制在动态状态更新和扩展交互中维持一致性方面挣扎；经验回放存在内在张力——扩展超越最佳阈值会触发性能退化
情景评估的盲区：大多数基准采用情景评估——智能体状态在任务间重置，从根本上排除了对知识积累或退化的测量
长视野保持的隐私约束：尚无基准同时结合扩展记忆评估和严格安全审计

稳定性-可塑性困境 (Stability-Plasticity Dilemma)

这是性能稳定性的最根本权衡：

方向	描述	代价
强调稳定性	优先保持旧知识	适应新任务缓慢
强调可塑性	优先快速学习新任务	遗忘旧知识（灾难性遗忘）

论文第七章将此列为各评估目标间的首要权衡：Adaptivity vs Retention。

Hello World

Wed, 08 Jul 2026 00:00:00 +0000

欢迎来到我的博客！这是用 Hugo 搭建的第一篇文章。下面展示一些常见的 Markdown 排版效果。

标题与段落

这是一段普通的文字。Hugo 会把 markdown 渲染成干净的 HTML，你只需要专注于写作本身。

列表

无序列表：

第一项
第二项
- 嵌套项 A
- 嵌套项 B
第三项

有序列表：

步骤一
步骤二
步骤三

代码块

Hugo 内置 Chroma 语法高亮，支持各种语言：

package main

import "fmt"

func main() {
 fmt.Println("Hello, Hugo!")
}

行内代码则用反引号包裹，比如 hugo server -D。

引用

好的博客，是写给未来的自己的信。 —— 某位博主

表格

功能	是否支持	说明
标签	是	通过 frontmatter 的 tags 字段
分类	是	通过 frontmatter 的 categories 字段
语法高亮	是	Chroma 内置，零依赖

链接与图片

这是一个 Hugo 官网的链接。