时间差分法

好的，我们来详细解释一下时间差分法（Temporal Difference Learning, TD Learning）。

它是一种强化学习（Reinforcement Learning, RL）中的核心算法范式，用于估计值函数（评估状态或状态-动作对的好坏）以及优化策略（学习如何选择动作以最大化长期奖励）。

核心思想

TD学习巧妙地结合了动态规划（Dynamic Programming, DP）和蒙特卡洛方法（Monte Carlo, MC）的思想：

像蒙特卡洛方法一样： TD方法直接从与环境交互产生的经验序列（状态、动作、奖励）中进行学习，不需要环境的完整模型（状态转移概率、奖励函数）。
像动态规划一样： TD方法可以在线学习、增量更新值函数的估计，不需要等待一个完整的回合（Episode）结束才进行更新。它使用当前（可能不精确的）值函数估计作为更新目标的一部分，这个概念称为自举（Bootstrapping）。

用于估计状态值函数 V(s) 的TD(0)更新规则如下：

V(S_t) ← V(S_t) + α * [R_{t+1} + γ * V(S_{t+1}) - V(S_t)]

S_t: 当前时刻t的状态。
S_{t+1}: 在状态S_t执行动作后，下一时刻t+1转移到的状态。
R_{t+1}: 从状态S_t转移到状态S_{t+1}时获得的即时奖励。
γ (Gamma): 折扣因子 (0 ≤ γ ≤ 1)，用于平衡当前奖励和未来奖励的重要性。γ接近0表示更重视即时奖励，γ接近1表示更重视长期回报。
V(S_t): 在更新之前，对状态S_t的值函数估计值。
V(S_{t+1}): 在更新之前，对下一状态S_{t+1}的值函数估计值。
α (Alpha): 学习率 (0 < α ≤ 1)，控制新信息覆盖旧估计的速度。
←: 表示“更新为”。

公式的核心部分是 [R_{t+1} + γ * V(S_{t+1}) - V(S_t)]，这个量被称为 TD误差（TD Error），用 δ_t 表示：

δ_t = R_{t+1} + γ * V(S_{t+1}) - V(S_t)

R_{t+1} + γ * V(S_{t+1})：这个部分被称为TD目标（TD Target）。
- R_{t+1} 是实际观测到的即时奖励。
- γ * V(S_{t+1}) 是基于当前值函数估计的、对之后所有未来奖励总和的贴现估计值。
- 因此，TD目标 是对状态 S_t 的真实值 V(S_t) 的一个改进版的估计。它比当前的 V(S_t) 更准确，因为它包含了实际观测到的奖励 R_{t+1}。
V(S_t)：是当前对状态 S_t 值的估计。
δ_t = TD目标 - 当前估计：这个差值 δ_t 衡量了当前估计 V(S_t) 与更好的目标 (R_{t+1} + γV(S_{t+1})) 之间的差异。如果 δ_t > 0，意味着我们对 S_t 的估值过低了，需要向上调整；如果 δ_t < 0，意味着估值过高了，需要向下调整。

初始化： 为所有状态（或状态-动作对）的值函数V(s)（或Q(s, a)）设定一个初始值（通常是0或随机值）。
交互： 智能体在环境中执行动作，观察状态转移和获得的即时奖励。
观察时刻 t: 在时刻 t，智能体处于状态 S_t，执行某个动作 A_t。
到达时刻 t+1: 环境转移到新状态 S_{t+1}，并给予智能体即时奖励 R_{t+1}。
计算TD误差： δ_t = R_{t+1} + γ * V(S_{t+1}) - V(S_t) （对状态值函数估计的情况）。
更新值函数： 根据上面的TD(0)规则，用学习率 α 乘以 TD误差 δ_t 来调整对 先前状态 S_t 的值估计 V(S_t)。
重复： 继续交互（进行到步骤3），不断使用新经验来更新值函数估计。

在线性： 不需要等待回合结束即可更新，学习速度更快，能利用片段式的经验。
低方差： 相比蒙特卡洛方法（依赖整个回合结束后得到的实际回报G_t，方差较大），TD方法只依赖一步（或几步）的奖励和下一个状态的估计值（即TD目标），其方差通常比MC小（尽管TD目标本身有偏差）。
无需模型： 与需要知道完整环境模型的动态规划不同，TD只需从经验中学习。
收敛性保证： 在适当条件下（如充分探索、学习率递减等），TD算法能收敛到真实的值函数（对于策略评估任务）。

SARSA (State-Action-Reward-State-Action)： 用于估计和优化动作值函数 Q(s, a) 的 同策略（On-policy） TD控制算法。其更新规则类似于TD(0)，但是更新的是Q值，并且目标中使用了在下一状态根据当前策略选择的动作 A_{t+1} 对应的 Q 值：Q(S_t, A_t) ← Q(S_t, A_t) + α * [R_{t+1} + γ * Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)]
Q-Learning: 用于估计和优化动作值函数 Q(s, a) 的 离策略（Off-policy） TD控制算法。其特点是学习最优动作值函数，更新时在TD目标中使用下一状态的最大Q值：Q(S_t, A_t) ← Q(S_t, A_t) + α * [R_{t+1} + γ * max_a Q(S_{t+1}, a) - Q(S_t, A_t)]
TD(λ)： 结合了MC和TD(0)的思想，使用资格迹（Eligibility Trace）来更有效地利用多步回报信息（不只是下一步），其中λ是一个调节参数（0 ≤ λ ≤ 1）。当λ=0时，退化为TD(0)；当λ=1时，在概念上等价于MC（但在实现上仍然是增量式的）。