最优贝尔曼方程推导

一、 核心定义与准备

1. 最优动作-价值函数 $Q_\*(s_t, a_t)$ 的定义：

   在状态 $S_t = s_t$ 采取动作 $A_t = a_t$ 之后，遵循最优策略 $\pi^\*$ 所能获得的期望最大累积折扣回报：

   $$Q_*(s_t, a_t) = \max_{\pi} \mathbb{E}_{\pi} \left[ U_t \;\middle\vert{}\; S_t = s_t, A_t = a_t \right]$$

2. 累积折扣回报 $U_t$ 的递归展开：

   从 $t$ 时刻开始的未来回报定义为：

   $$U_t = R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + \dots$$

   提取公因式 $\gamma$，可以将其写成前后时刻的递归形式：

   $$U_t = R_t + \gamma \underbrace{(R_{t+1} + \gamma R_{t+2} + \dots)}_{U_{t+1}} = R_t + \gamma U_{t+1}$$

二、 逐步推导过程

第一步：代入回报的递归式

将 $U_t = R_t + \gamma U_{t+1}$ 代入 $Q_*(s_t, a_t)$ 的期望定义中：

利用期望的线性性质，将公式拆分为两项：

第二步：应用全期望公式处理第二项

对于第二项中的未来回报 $U_{t+1}$，其期望高度依赖于下一时刻系统到达的状态 $S_{t+1}$。根据全期望公式，我们按 $S_{t+1}$ 的所有可能取值进行条件化展开：

根据马尔可夫决策过程（MDP）的马尔可夫性质，一旦下一状态 $S_{t+1} = s_{t+1}$ 已知，未来的轨迹就与过去的 $S_t, A_t$ 条件独立。因此：

此时，内层的期望恰好就是在状态 $S_{t+1}$ 下遵循最优策略的期望回报，即最优状态价值 $V_*(S_{t+1})$（或者将其与动作结合）：

• 如果代入状态价值 $V_*$：$\mathbb{E}[U_{t+1} \mid S_{t+1}] = V_*(S_{t+1})$

• 但我们的目标是直接导出关于 $Q_*$ 的方程，因此我们需要引入最优动作。

第三步：引入最优动作与贪婪选择（$\max$ 操作）

在最优策略下，智能体在下一状态 $S_{t+1}$ 必然会选择那个能让未来价值最大化的动作。也就是说，下一时刻的动作不再是按某种概率随机抽取，而是进行了贪婪最大化：

因此，原本对未来动作的期望被 $\max$ 算子所取代。整个第二项关于未来的期望化简为：

三、 合并得到最终的最优贝尔曼方程

将推导出的各部分重新组合：

写成更紧凑的求和/积分展开形式（明确写出环境的状态转移概率 $p(s_{t+1}, r \mid s_t, a_t)$）为：

:bulb: 核心结论总结

• 公式物理意义：当前状态 $s_t$ 下采取动作 $a_t$ 的最优长期价值 $Q_*(s_t, a_t)$，等于“当前获得的即时奖励 $R_t$”加上“折扣后的未来最大动作价值 $\max_A Q_*(S_{t+1}, A)$”在所有可能环境反馈（$R_t, S_{t+1}$）下的加权平均（期望）。

• 下标规范：$\mathbb{E}_{R_t, S_{t+1}}$ 明确指出了该期望算子需要“平均掉”的不确定性来源——即环境赋予的即时奖励随机性与状态转移随机性。