强化学习

目录

1. 课程导论
2. 强化学习基础
3. 数学框架与核心概念
4. 深度强化学习
5. 前沿技术方向
6. 产业应用案例
7. 技术挑战与未来趋势
8. 知识小结

一、课程导论

1.1 课程目标

• 参考信息：该笔记大纲参考张伟楠博士的强化学习讲座制定
• 教材推荐：使用《动手学强化学习》配套实践，提供可复现代码

1.2 AI任务类型全景

1.3 决策智能分类

白盒环境（模型已知）

特点：状态转移函数 $P(s'|s,a)$ 和奖励函数 $R(s,a)$ 已知

黑盒环境（模型未知）

特点：仅通过输入输出交互学习，无显式模型

二、强化学习基础

2.1 什么是序贯决策？

定义：智能体在动态环境中连续做出决策序列，通过不断接收新观测来优化目标。

数学表达：

公式逐层拆解

上述公式是强化学习的终极优化目标，其完整含义可从外到内逐层解读：

第一层——最外层 $\max_{\pi}$：「找最优策略」

• $\pi$ 表示**策略**（智能体的决策规则/做事方法），如迷宫中往哪走、车辆怎么开、机器人如何控制关节等
• $\max_{\pi}$ 的含义是：**在所有可能的候选策略中，挑选出能使收益达到最大的那一个**
• 这一层回答的是"要选哪个策略"

第二层——中间层 $\mathbb{E}_{\pi, Env}$：「算长期平均」

• $\mathbb{E}$ 是数学期望（期望值 = 长期统计平均值），**不是单次运气的得分**
• 下标 $\pi, Env$ 指明计算条件：使用特定策略 $\pi$ 与真实环境 $Env$ 交互时的期望
• 引入期望的原因在于：实际环境普遍存在随机性（如路面突发状况、游戏随机事件、物理仿真中的微小扰动），单次结果不可靠，必须用多次试验的长期平均值来衡量策略的真实水平
• 这一屔回答的是"用什么指标来评价策略好坏"

第三层——最内层 $\sum_{t=0}^{T} \gamma^t r(s_t, a_t)$：「算单次总奖励」

• $r(s_t, a_t)$：第 $t$ 步执行动作后获得的**即时奖励**（正值为奖励，负值为惩罚）
• $\gamma^t$：**折扣因子**的幂次，使得越远期的奖励权重越小（$\gamma \in [0,1]$）
• $\sum$：将每个时间步的折扣奖励从头到尾累加求和
• 这一层数值表示智能体按照某条完整轨迹走完全程后获得的折扣后累计总分

三层为何缺一不可？

单独取出任意一层都无法构成完整的优化目标：

三层嵌套的逻辑链条是：先定义单次收益 → 再消除随机性取平均 → 最后全局寻优。这就是强化学习的核心命题：寻找最优策略，赢在长期、稳在平均。

案例代入验证

案例一——迷宫导航智能体：

将公式各部分代入迷宫场景：

• 内层 $\sum$：每走一步扣 1 分（$r = -1$），步数越多扣分越重；折扣 $\gamma$ 使后期扣分的实际影响更大（逼迫尽快找到出口）
• 中间层 $\mathbb{E}$：迷宫可能存在随机障碍物或滑动机制，同一路径每次执行结果不完全一致，需计算多轮平均扣分
• 外层 $\max_\pi$：在"随机乱走""贴右墙走""最短路径探索"等无穷多种策略中，找出平均总扣分最少的那一个

案例二——自动驾驶车道保持：

• 内层 $\sum$：保持在车道中心得正分、偏离/越界得负分，长期累积
• 中间层 $\mathbb{E}$：道路表面存在微小波动和不确定性，以长期平均得分为准
• 外层 $\max_\pi$：搜索最优驾驶策略，使车辆长期平稳行驶且平均得分最高

典型应用——机器狗越障：

• 通过轮足与地形持续交互完成越障任务
• 核心特点：决策具有时间连续性，当前决策影响后续状态
• 绝大多数序贯决策问题可用强化学习求解

2.2 强化学习定义

马尔可夫决策过程（MDP）——强化学习的数学框架

在正式定义强化学习之前，需要先理解其底层数学框架：马尔可夫决策过程（Markov Decision Process, MDP）。MDP 是 AI 做决策的"游戏规则说明书"，课件中所有的序贯决策、状态转移、策略、奖励等概念均在 MDP 框架下定义。

马尔可夫性——MDP 的核心前提

马尔可夫性的本质是：只看现在，不翻旧账。即下一步会变成什么样、该如何决策，只依赖当前状态，和之前所有历史无关。

以迷宫为例：智能体当前位于第5格。不管它是从起点一路直走过来，还是绕路撞墙多次才到达此处，下一步往哪个方向走、走到哪里，完全取决于"你在第5格"这一件事，与之前的路径毫无关系。课件中状态的定义 $S_t = f(H_t)$（状态是历史的函数），其目的正是从完整历史中提炼出满足马尔可夫性所需的当前关键信息，丢弃无用的历史细节。

通俗类比：将 MDP 类比为玩闯关游戏——你站在当前关卡（状态），无需回忆之前怎么玩的；选操作（动作）→ 跳到下一关（状态转移）→ 加分/扣分（奖励），目标是通关拿最高分。

MDP 五要素详解

MDP 由以下五个核心要素构成：

各要素之间的协作关系为：智能体观察当前状态 $S$ → 根据策略选择并执行动作 $A$ → 环境状态转移 P 决定下一状态 → 环境奖励 R 给出反馈 → 折扣 γ 将远期奖励折算至当前价值。

用迷宫案例完整跑通 MDP 流程：假设一个 4×4 迷宫，起点在左上角(0,0)，出口在右下角(3,3)，每步奖励 $r=-1$：

• 当前状态：(1, 2)（位于第1行第2格）
• 可选动作：{上, 下, 左, 右}
• 选择动作"右"后，状态转移：移动到 (1, 3)
• 获得奖励：$r=-1$
• 目标：在所有可能的动作序列中，找到使累计折扣奖励最大的策略

MDP 与强化学习的关系

根据环境模型是否已知，MDP 分为两类，对应不同的求解方法：

强化学习的本质定位是：在黑盒 MDP 中通过交互经验寻找最优策略 $\pi^*$。其中策略 $\pi$ 的定义为：在每个状态下选择什么动作的映射规则 $\pi(a|s)$，目标是最大化长期累积折扣奖励 $\sum_{t=0}^{T} \gamma^t r_t$。

"智能"的定义：达成目标的计算过程称为智能
"学习"的本质：通过经验提升目标性能的过程
强化学习的特征：强调从交互过程中积累经验来实现目标

历史沿革：

• 1950s：图灵首次提出智能体概念
• 1980s：正式写入学术论文
• 近期：因大模型普及重新受到关注（已有近50年发展历史）

2.3 智能体核心三要素

关于公式中"竖线" $\mid$ 的说明——条件期望在强化学习中的使用

在强化学习公式中，经常出现形如 $\mathbb{E}[\,\cdot \mid S_0=s]$ 的写法。这种形式在概率论中被称为条件期望（Conditional Expectation），RL 中直接沿用该术语，并无特殊命名。

竖线 | 的统一含义

竖线 | 在所有场景下的含义均为 "给定前提 / 在……条件下"，与条件概率 $P(A|B)$ 中的用法完全一致：

因此，条件期望可以理解为条件概率的加权平均：$\mathbb{E}[X \mid Y=y] = \sum_x x \cdot P(X=x \mid Y=y)$，竖线的底层逻辑完全一致。

RL 中两种最常见的条件期望

强化学习的核心任务是评估从某个起点出发未来能获得多少奖励，几乎所有价值函数都需要一个"起点条件"：

• 状态价值 $V^\pi(s)$：

  $$V^\pi(s) = \mathbb{E}_\pi\left[ \sum_{t=0}^T \gamma^t r(s_t,a_t) \mid S_0 = s \right]$$

  条件为"初始状态是 $s$"，限定"从哪里开始"，但第一步动作仍由策略 $\pi$ 决定

• 动作价值 $Q^\pi(s,a)$：

  $$Q^\pi(s,a) = \mathbb{E}_\pi\left[ \sum_{t=0}^T \gamma^t r(s_t,a_t) \mid S_0 = s, A_0 = a \right]$$

  条件进一步收紧为"初始状态 $s$ + 第一步必须选动作 $a$"，连第一个动作也固定了

为何将 $\mathbb{E}_\pi$ 与 $\mid S_0=s$ 分开书写？

公式中存在两个看似都是"条件"的成分，但它们的本质角色完全不同，分开书写有四个核心原因：

1. 语义层级不同：$\mathbb{E}_\pi$ 定义了整个交互轨迹的概率分布（策略 $\pi$ 加环境转移 $P$ 共同确定了轨迹分布 $P_\pi$）；而 $\mid S_0=s$ 是在该分布上指定的具体初始条件——类似于"掷硬币时硬币偏倚率 $p$"与"第一次掷出正面"的区别

2. 突出优化目标：强化学习的终极目标是寻找最优策略 $\pi^*$，$\pi$ 是被优化的变量。将 $\pi$ 写在期望下标或价值函数上标处，相当于将其标记为"外部优化参数"，使优化式一目了然：

   $$\max_\pi V^\pi(s) = \max_\pi \mathbb{E}_\pi[\,\cdot \mid S_0=s]$$

3. 符合约定俗成的简化：RL 中所有期望均基于某个策略 $\pi$，这是默认前提，故简化为 $\mathbb{E}_\pi$；而 $\mid S_0=s$ 是每次评估不同状态时变化的条件，需明确保留

4. 贝尔曼方程推导更清晰：分离写法使推导结构自然——当前步骤的动作由 $\pi$采样，后续价值仍属同一策略，逻辑链条清晰：

   $$V^\pi(s) = \mathbb{E}_\pi[r(s,a) + \gamma V^\pi(s') \mid S_0=s]$$

注：部分偏理论的文献也会将两者合并写作 $\mathbb{E}[\,\cdot \mid \pi, S_0=s]$，数学上等价但不突出优化目标，故主流教材（如 Sutton & Barto）多采用分离记法。

2.4 智能体-环境交互闭环

交互循环：

1. 智能体获得观察 $O_t$
2. 智能体执行动作 $A_t$
3. 环境接收动作 $A_t$，产生奖励 $R_t$
4. 环境生成新观察 $O_{t+1}$

系统特性：构建了智能体与动态环境序贯交互决策的闭环系统

2.5 与传统机器学习的本质区别

关键洞察：这是强化学习最核心的挑战——在变化的分布上学习

策略与数据分布的动态对应关系（逐层解析）

强化学习中，策略 $\pi$ 与其产生的数据分布（即占用度量 $\rho^\pi(s,a)$）之间存在深刻的内在联系。以下从四个层面逐一剖析：

第一层——严格一一对应（数学底层）

该定理表明策略与占用度量之间是双向等价的双射关系：

• 正向：相同的策略 $\Rightarrow$ 生成完全相同的数据分布
• 反向：相同的数据分布 $\Rightarrow$ 唯一对应同一个策略
• 不存在任何模糊空间：一个策略对应唯一分布，一个分布也只对应唯一策略

这是 RL 中最硬核的数学关系，也是"从占用度量反推策略公式" $\pi(a|s) = \rho(s,a) / \sum_{a'} \rho(s,a')$ 的理论基础。

第二层——微小策略变动导致分布剧变（反直觉关键）

哪怕仅修改某一个状态下的动作选择概率（例如将"向左"的概率从 0.50 微调为 0.51），也会引发连锁反应：

迷宫实例：原策略在起点选择"向东"，新策略仅在起点改为"向北"——仅仅这一处改动，后续经过的所有格子、每一步的状态-动作对全部改变，整个占用度量彻底重写。

课件金句——"策略改变1%就会导致100%不同的数据分布"——正是对此特性的精准概括。

第三层——核心闭环："策略生成数据，数据训练策略"

强化学习中数据是"活"的——策略决定了智能体能看到什么数据，而这些数据又反过来决定如何修改策略。

第四层——黑盒环境下分布只能采样、不能计算

已知策略 $\pi$ 后，由于环境状态转移 $P(s'|s,a)$ 在黑盒场景下未知，不存在任何显式公式能直接计算出分布 $\rho^\pi$。获取 $\rho^\pi$ 的唯一途径是让智能体按该策略与环境实际交互运行轨迹，统计 $(s,a)$ 对的出现频率来估计分布。这种隐式关系意味着优化目标缺乏对策略更新方向的解析指导。

该对应关系的理论意义

1. 解释了 RL 为何困难：数据分布在训练过程中持续变化，没有固定的训练集可用，导致训练不稳定、样本效率低
2. 奠定了 RL 的基本优化范式：无法一步解析求出最优策略，只能采用策略评估 $\to$ 策略提升的迭代方法逐步逼近
3. 区分了两类 AI 任务的本质：预测型任务面对静态分布，决策型任务（RL）面对动态自生成分布

2.6 应用案例：无人驾驶小车

实验设置：

• 环境：英国牛津小道
• 机制：越界后重置训练周期

训练进程：

技术亮点：

• 无预设规则：完全通过RL算法自主学习
• 论文来源：ICRA 2019 Learning to Drive in a Day
• 学习原理：保持车道行驶获得正向奖励，$\gamma$ 折扣因子平衡即时/远期收益

三、数学框架与核心概念

3.1 历史序列与状态

历史序列 $H_t$ 是观察(O)、动作(A)和奖励(R)的序列：

状态是历史的函数：

例如：MIT机器狗通过关节扭矩、角度等观测值构建历史序列，进而推断当前真实状态。

3.2 策略（Policy）

策略 $\pi$ 是强化学习的最终输出模块，决定智能体在特定状态下的行为方式。

表示规范：大写斜体字母表示随机变量（如 $S, O, A, R$），小写字母表示具体取值（如 $s, a, o, r$）

3.3 奖励函数

• 信号特性：标量值 $R_t$ 或 $r(s,a)$，提供即时"好坏"反馈信号
• 设计原则：必须为标量形式以便优化比较（类比监督学习的损失函数或无监督学习的 log likelihood）
• 反馈机制：环境对每个状态或状态-动作对生成奖励值

为何奖励预测公式必须使用期望？

课件中的奖励预测公式为：

该公式使用期望（而非固定数值）的原因在于一个关键事实：强化学习所面对的实际环境中，同一状态 $s$ 下执行同一动作 $a$ 的结果往往是随机的、不固定的。

初学者常有一个直觉假设："在状态 $s$ 执行动作 $a$ → 下一步一定得到某个固定奖励 $r$"。然而真实环境普遍具有随机性——MDP 的状态转移 $P(s'|s,a)$ 本身就是概率性的，这导致同一 $(s,a)$ 对可能触发不同的后续状态和不同奖励。因此：

1. 环境存在内在随机性：同一 $s$、同一 $a$ 不会每次都产生完全相同的奖励
2. 单次结果不可靠：某次运气好得 +10、下次运气差得 -5，不能以单次值做决策依据
3. 期望是最稳定的预测值：期望 = 无数次重复 $(s,a)$ 后的长期平均奖励，是唯一可用于训练、规划和预测的可靠数值

具体案例——迷宫中的随机性：

假设迷宫中每步基础奖励为 -1，撞墙惩罚为 -10。当前状态为起点格子，选择动作"向东移动"：

• 70% 概率：顺利移动到东侧邻格 → 获得奖励 $r = -1$
• 30% 概率：遇到隐藏墙体碰撞 → 获得奖励 $r = -10$

此时奖励预测值为：

这个 -3.7 就是在该状态下执行"向东"动作时平均每次能获得的奖励，而非某一次的运气结果。

具体案例——无人驾驶车道保持：

当前状态 = 车辆位于车道中心区域，动作 = 轻微左打方向盘：

• 80% 概率：成功保持在车道内 → $r = +1$
• 20% 概率：压到车道边界线 → $r = -5$

奖励预测值：$\mathcal{R}_s^a = 0.8 \times (+1) + 0.2 \times (-5) = -0.2$

系统使用的就是这个平均值，而非 +1 或 -5。

总结：固定确定性环境下奖励为常数，无需引入期望；而随机环境（RL 的实际场景） 中奖励不固定，必须用期望（= 长期平均值）来代表最稳定的奖励预测值。课件中的"奖励预测"预测的正是这一长期平均收益，而非单次随机结果。

3.4 强化学习目标函数

折扣因子 $\gamma \in [0,1]$ 的作用：

• 保证无限时间步下奖励总和收敛
• 伽马衰减形式是数学推导的唯一解
• 体现"当前奖励比未来更重要"的预期思维

3.5 环境模型

为何仅凭两个公式就能模拟整个动态环境？

动态环境的全部运行规则本质上只有两件事：

1. 当前状态做了某个动作后，环境会变成什么样？ → 由状态转移公式 $P(s'|s,a)$ 回答
2. 环境变化后给出多少反馈？ → 由奖励预测公式 $\mathcal{R}_s^a$ 回答

这两件事涵盖了环境的全部动态行为。只要知道了它们，就能完整复刻环境的运行逻辑，无需额外信息。

迷宫案例演示——用两个公式模拟"走一步"全过程：

假设迷宫规则为：当前格子 $s$，选择"向东移动"，每步基础奖励 -1，撞墙额外惩罚 -10：

• 状态转移 $P(s'|s,a)$：70% 概率顺利走到东侧邻格 $s'$；30% 概率撞到隐藏墙体停在原格
• 奖励预测 $\mathcal{R}_s^a = 0.7 \times (-1) + 0.3 \times (-11) = -4$

此时无需真正在物理环境中行走，光靠这两个公式即可在代码中模拟出完整的"走一步"过程：先根据状态转移概率采样确定下一状态，再根据奖励预测获得反馈值。

策略模型 vs 环境模型——必须严格区分的两个概念

强化学习中存在两个名称相近（都叫"模型"）但功能完全相反的概念，是初学者最易混淆的要点：

交互流程对比：

• 无环境模型的标准 RL 流程：智能体 $\to$ 策略 $\pi$ 输出动作 $a$ $\to$ 真实环境返回 $(s', r)$ $\to$ 智能体学习
• 有环境模型的 RL 流程：智能体 $\to$ 策略 $\pi$ 输出动作 $a$ $\to$ 环境模型 $M$ 用 $P(s'\|s,a)$ 计算 $s'$、用 $\mathcal{R}_s^a$ 计算 $r$ $\to$ 返回 $(s', r)$（无需接触真实环境）

环境模型的价值

环境模型的核心作用是减少真实环境中的高风险试错交互。以无人驾驶为例：

• 在真实道路上直接训练 = 高昂的事故风险和成本
• 使用环境模型在计算机中模拟千万次驾驶，训练出成熟的驾驶策略后再部署到真车

因此环境模型可类比为 AI 的飞行模拟器——让智能体在虚拟世界中充分练习、积累经验，降低对真实环境的依赖和安全风险。

3.6 经典案例：迷宫问题

3.7 经典案例：Atari游戏

3.8 占用度量（Occupancy Measure）

概率论基础预备

占用度量的理解需要三个基础概率概念：

• 分布：一件事在不同取值上出现的统计规律。例如在迷宫中，总往右走则"右边格子"出现频率高。
• 期望 $\mathbb{E}[\,\cdot\,]$：长期平均值。如智能体玩100局迷宫，平均踩某个格子的次数就是该状态访问频次的期望。
• 指示函数 $\mathbb{I}(z)$：一个简单计数器——条件满足时记1，否则记0。

定义

占用度量描述策略 $\pi$ 与环境交互时产生的状态-动作对 $(s,a)$ 的分布情况：

其中 $\mathbb{I}(z)$ 是指示函数，当事件 $z$ 发生时取 1，否则取 0。

通俗理解：用策略 $\pi$ 玩游戏，平均下来每个(状态, 动作)组合被踩过的折扣加权总次数。$\gamma^t$ 使近期的访问具有更高权重（越近的步子越重要）。

两种等价的数学形式

占用度量存在两种数学上完全等价但视角不同的表达形式：

形式一——定义式（轨迹/期望视角）：

含义：运行多条完整轨迹，统计每条轨迹中 $(s,a)$ 被访问时的折扣计数，最后对所有轨迹取平均值。

形式二——概率表达式（时间步/概率视角）：

含义：不运行轨迹，直接计算每个时间步 $t$ 恰好处于 $(s,a)$ 的概率，乘以折扣后累加。

两者通过两个步骤相互转化：(1) 利用期望的线性性将期望移入求和号内部；(2) 利用指示函数的期望等于事件发生概率这一性质，将 $\mathbb{E}[\mathbb{I}(\cdot)]$ 替换为 $P(\cdot)$。形式二在理论证明中更为常用，因为省去了期望算子、便于代数操作。

物理意义

表示从初始状态开始，在策略 $\pi$ 下所有时间步访问到特定状态-动作对 $(s,a)$ 的累积权重，$\gamma^t$ 使近期访问的状态-动作对具有更高权重。

重要区分：占用度量是一种统计分布（描述"哪里踩得多、踩了多少次"），而非概率分布（后者总和必须为1）。它类似于"总足迹"的概念——就像在公园散步10分钟留下一串脚印，我们关心的是每个(位置,方向)被踩了多少次，而不是下一步往哪个方向走的概率。原始占用度量的直接累加和不为1，而是等于 $\frac{1}{1-\gamma}$（当 $T \to \infty$ 时），这是因为它不做归一化除法，只做纯累加。

关键性质

关于正则化的说明：在无限时间步（$T \to \infty$）且带折扣（$\gamma < 1$）的标准 RL 设定下，原始占用度量之和为等比数列求和结果 $\frac{1}{1-\gamma}$。此时若要将其转换为标准概率分布（总和为1），只需整体乘以 $(1-\gamma)$ 即可。而在有限步、无折扣（$\gamma=1$）的简化场景中，正则化方法为除以总步数 $N$——两种方法的本质一致，都是将总量缩放到1，只是场景不同导致缩放系数不同。之所以不能只定义正则化形式，是因为非正则化形态是 RL 理论的本体：它能直接用于计算策略价值 $V^\pi = \sum_{s,a} \rho^\pi(s,a) \cdot r(s,a)$，而正则化后的形式会使每个公式都多出一个系数 $\frac{1}{1-\gamma}$，导致理论推导臃肿。

核心定理

定理 1（一一对应）：

策略与数据分布存在严格一一对应关系！

定理 2（度量到策略的映射）：

给定合法占用度量 $\rho$，唯一生成策略为：

该公式的推导基于条件概率恒等式：联合概率可分解为边际概率与条件概率之积，即 $\rho(s,a) = \rho(s) \cdot \pi(a\|s)$，其中 $\rho(s) = \sum_{a'} \rho(s,a')$ 为状态的边际占用度量。移项即得上述映射公式。

价值函数的新表达

将时序奖励转化为状态-动作对的加权和！其物理含义为：总价值等于每个(状态,动作)对的「访问总权重」乘以「单次奖励」，全部加总。这个表达式将时序累计问题转化为静态加权求和，使数学优化更加便利。

黑盒特性与评估难点：虽然策略与占用度量一一对应，但无法直接从策略解析表达式推导出占用度量（因为 $\rho$ 还依赖未知的环境状态转移 $P(s'\|s,a)$）。这种隐式对应关系意味着：无法写出 $\rho^\pi = f(\pi)$ 的显式公式，也就无法直接计算"策略微小变动会如何改变目标函数值"、得不到梯度/更新方向。因此优化目标缺乏对策略更新方向的直接指导，只能通过「策略评估→策略提升」的间接迭代来逼近最优。这是强化学习与传统监督学习的本质区别之一。

占用度量的应用意义：

• 评估策略：通过查看占用度量的分布形状即可判断策略优劣——高价值区域集中则策略优，全部集中在少数状态则可能陷入局部最优；$\rho(s,a)=0$ 表示该状态-动作对从未被访问，可能是致命盲区
• 提高探索效率：量化探索不足之处，定向补盲、避免在某些区域过度集中，用最少样本覆盖关键状态-动作对
• 模仿学习：让智能体的占用度量逼近专家策略的分布，无需设计奖励函数即可学会专家行为

3.9 策略优化范式

公式层级梳理——为什么多个公式看起来一样？

在学习强化学习的过程中，会遇到多个形式高度相似的公式（序贯决策目标、强化学习总目标、价值函数/策略价值、策略评估目标函数）。这些公式的数学形式完全等价——均基于"最大化折扣累积奖励的期望"这一母式：

但它们是同一套数学逻辑在不同层级、不同视角下的不同叫法，而非同一概念。以下从顶层到底层逐一厘清：

通俗类比（驾驶场景）：

• 序贯决策目标 = 全程从家到公司总耗时最短（任务定义）
• 强化学习总目标 = 司机学开车策略让全程最短（算法任务）
• 价值函数 $V^\pi(s)$ = 在当前路口 $s$ 按此策略开到公司还需多久（状态级指标）
• 策略评估目标 = 逐个路口计算剩余耗时（具体计算过程）

价值函数的两个实例

"价值函数"是总称呼/集合名——所有用来衡量"从当前情况出发未来能获得多少总奖励"的函数都归入此类。它本身没有独立公式，而是包含两个具体的子概念：

状态价值 $V^\pi(s)$ —— "这个位置值多少钱？"

符号逐一解读：

回答的核心问题："这个状态本身好不好？" —— 数值越高（越接近0或正数）表示该状态越优、离目标越近；数值越低（越负）表示该状态越差。

关键理解要点：

• 它不是当前这一步的即时奖励 $r(s,a)$
• 而是从这个状态出发、往后全程的累计奖励期望
• 只计算未来的奖励，不包含过去已获得的奖励
• 加的是折扣后的奖励（$\gamma^t$ 使远期奖励权重更低）
• 取的是长期平均（期望），排除单次运气影响

迷宫数值案例：假设迷宫每走一步扣1分（$r=-1$），目标尽快到达出口：

• 状态 $s_1$ 距出口还有3步 → $V^\pi(s_1) = -1 + (-1) + (-1) = \mathbf{-3}$
• 状态 $s_2$ 距出口还有5步 → $V^\pi(s_2) = \mathbf{-5}$
• 出口状态 $s_{goal}$ → 已到达终点，后续无奖励 → $V^\pi(s_{goal}) = \mathbf{0}$

单个状态的价值就是**"站在这一格开始，走完剩下全程的平均总分"**。

动作价值 $Q^\pi(s,a)$ —— "在这个状态下选这个动作值多少钱？"

与状态价值的区别仅在于条件中多了一项 $A_0=a$：第一步必须执行特定动作 $a$。回答的核心问题："在这个状态下做某个特定动作好不好？"

迷宫数值延续上述案例：假设当前位于某格子 $s$：

• $Q^\pi(s, \text{向上})$：先向上走一步再按策略继续 → 可能撞墙导致 $Q=-10$
• $Q^\pi(s, \text{向右})$：先向右走一步再按策略继续 → 可能直达出口方向导致 $Q=-2$
• $V^\pi(s)$：不指定第一步动作，按策略随机混合所有动作后的平均值

注意：同一个状态的 $V$ 值可能较高（因为该格子本身潜力好），但不同动作的 $Q$ 值可能差异极大——$V$ 只能告诉你这个格子好不好，而 $Q$ 直接告诉你每个动作的具体收益，做决策时可直接选用最大 $Q$ 的动作。

V 与 Q 的关系——两个层面的等价与依赖

数学定义层面（平行等价，无谁更基础）：

贝尔曼方程计算层面（单步循环依赖）：

当需要通过贝尔曼方程逐步计算 $V$ 和 $Q$ 时，出现循环嵌套结构：

这种单步互相依赖是时序决策的天然属性——当前价值必然依赖未来价值，类似于斐波那契数列 $F(n)=F(n-1)+F(n-2)$ 中各项的单步递归依赖：计算时互相嵌套，但定义上各自独立、全局信息完全等价。

为何同时保留 V 和 Q？——适用场景差异

策略价值：课件中偶尔出现的"策略价值"并非新的函数类型，它就是绑定了策略 $\pi$ 的状态价值 $V^\pi(s)$ 本身，只是换了一种强调角度——强调"这是策略 $\pi$ 带来的价值"，用于比较不同策略的优劣。

占用度量形式——另一种等价表达

课件中还出现了价值函数的占用度量改写版：

这是母式的等价变形——将时序求和 $\sum_{t=0}^{T}$ 替换为对状态-动作对的静态加权求和。两者数学上完全相等，只是视角不同：时序形式强调时间演化过程，占用度量形式强调状态-动作空间的分布结构。

策略评估（Policy Evaluation）

目标函数：

状态价值函数：

可分解为：

动作价值函数：

关于贝尔曼方程——RL 最核心的计算工具

上述分解式（将 $V$ 拆成 $r + \gamma V'$、将 $Q$ 拆成 $r + \gamma V'$）就是**贝尔曼方程（Bellman Equation）**的核心。它是强化学习所有算法的地基——策略评估、策略提升、Q-learning、DQN、PPO 等全部基于贝尔曼方程做优化。

贝尔曼方程的本质：从无穷到有限

价值函数的定义是未来无限步折扣奖励的期望：

这是无穷项求和，现实中无法直接计算。贝尔曼方程做了一件事：把无限长的链条砍成「当前1步 + 剩余所有步」，而"剩余所有步"恰好就是下一步状态的价值。这样就把无法计算的无穷求和变成了可以逐步递推的有限计算：

两个版本的贝尔曼方程

严格判定标准：什么才叫贝尔曼方程？

并非所有带折扣因子 $\gamma$ 的公式都叫贝尔曼方程。严格判定条件为：

• ✅ 必须是递推等式形式（左边一个变量，右边包含自身在下一时刻的值）
• ✅ 必须将长期价值 V/Q 拆分为 当前即时奖励 + 折扣×未来价值
• ✅ 只有V 的贝尔曼方程和Q 的贝尔曼方程这两个

以下公式不是贝尔曼方程：

• ❌ 序贯决策总目标 $\max_\pi \mathbb{E}[\sum\gamma^t r_t]$ —— 这是原始定义的全局求和，不是递推等式
• ❌ 任何不带递归结构的 $\gamma$ 加权求和式

通俗类比：总目标函数是"算你这辈子能赚多少钱"（无穷长，没法直接算）；$\gamma$ 是"越远的钱越不值钱"（防止算到无穷大）；贝尔曼方程是**"今年赚的 + 明年起这辈子能赚的钱（打折后）"**（把无穷变成1步递推）。

计算方向：反向递归（而非正向递推）

贝尔曼方程的计算方向与常见的等差/等比数列完全相反：

迷宫中的反向递归演示：假设迷宫每步 -1 分，出口为终止态（走到出口游戏结束），状态链为 起点 A → 格子 B → 格子 C → 出口：

1. 先确定终态：$V(\text{出口}) = 0$（终止态无后续奖励）
2. 回溯 C：$V(C) = -1 + \gamma \times V(\text{出口}) = -1$
3. 回溯 B：$V(B) = -1 + \gamma \times V(C) \approx -2$
4. 回溯 A：$V(A) = -1 + \gamma \times V(B) \approx -3$

这就是贝尔曼方程的实际计算过程——必须先知道终点/终态的价值，才能一层层倒推出当前状态的价值。这本质上是一种逆时间方向的递归回溯（类似于深度优先搜索触底后返回结果的过程）。由于 RL 中存在策略采样和环境转移概率，贝尔曼方程实际上是带概率期望的反向递归，但递归核心方向不变。

循环依赖关系与实际算法方案

从数学定义上看，价值确实需要递归展开到终止态才能精确计算（像一棵树从当前节点展开到终点再回溯）。但实际运行中绝不会每个时间步都暴力递归遍历整个未来树——那样算力会爆炸。实际使用三种高效替代方案：

1. 白盒环境（如简单迷宫）：用动态规划的迭代法，给所有状态赋初值后反复循环更新直至收敛（Value Iteration / Policy Iteration）
2. 黑盒环境（如 Atari 游戏）：用采样法，只走一步拿到 $(r, s')$ 后用当前的粗略估计值代替真实未来价值，试错多了自然变准（Q-learning / DQN）
3. 深度强化学习：直接用神经网络输出价值预测，内部是矩阵前向计算完全没有递归回溯（DQN / PPO / SAC）

收敛保证——为何不会无限递归？

上述三种方案都不会陷入无限递归，原因在于 RL 存在两个天然的"刹车机制"：

1. 终止条件：绝大多数任务都有明确的终止态（迷宫到达出口、游戏结束、任务完成），终止态的价值为确定值（通常为 0），递归在此处触底停止
2. 折扣因子 $\gamma < 1$：即使理论上存在无限步的场景，$\gamma^t$ 随 $t$ 增大而指数衰减趋于0，使得无穷级数 $\sum_{t=0}^{\infty}\gamma^t r_t$ 数学上保证收敛到有限值，不会发散至无穷大

因此，数学定义上的递归展开虽然看起来会"无止境地进行"，但在实际计算中要么被终止条件截断，要么被折扣因子压至收敛。

策略提升（Policy Improvement）

"思想总是走在行动的前面" —— 海涅

策略提升 = 用评估出的 $V$ 和 $Q$，把策略改得更优的操作。它与策略评估是一对互补操作，形成"评估→提升→再评估→再提升"的迭代循环，直到收敛到最优策略。

海涅的诗句"思想总是走在行动的前面"正是对这一范式的精准概括：先通过策略评估想清楚当前策略哪里好、哪里差（思想），再通过策略提升动手改策略（行动）。

提升条件——逐符号解读

对于策略 $\pi$ 和 $\pi'$，若在某状态 $s$ 满足：

则 $\pi'$ 是 $\pi$ 的策略提升。公式中每个符号的含义：

通俗翻译：只要新策略在某状态下选择的动作，比旧策略在该状态的平均水平更好，那么新策略整体上就比旧策略更强。

非直觉特性：单点改进即整体优化

课件指出：即使两个策略仅在单个状态 $s$ 的动作选择不同（$\pi'(s) \neq \pi(s)$），且 $\pi'$ 仅在该状态表现更优、其余所有状态完全一致，$\pi'$ 仍是 $\pi$ 的严格提升。

这一反直觉结论成立的根本原因在于贝尔曼方程的反向递归传导机制：

1. 改进了状态 $s$ 的动作选择 → 状态 $s$ 自身的价值变高
2. 所有能够到达状态 $s$ 的前序状态，其价值也会因 $s$ 的价值提升而变高
3. 这种改善沿状态转移图一路反向传播至所有前序状态

以迷宫为例：只需将出口前一格的动作从"随机走"改为"朝向出口"，该格子的价值变优 → 所有能走到此格子的前序格子价值也跟着变优 → 整个迷宫的整体导航策略都得到提升

实施方法——逐步操作指南

策略提升的具体执行分为三个步骤：

第一步：策略评估——算出当前策略 $\pi$ 的全部 $V^\pi(s)$ 和 $Q^\pi(s,a)$。这是"摸清底细"阶段，必须先知道当前策略在每个状态的平均表现和每个动作的具体价值，才能判断哪些地方有改进空间。

第二步：寻找改进点——在每个状态 $s$ 下遍历所有可用动作 $a$，检查是否满足 $Q^\pi(s,a) > V^\pi(s)$：

• $V^\pi(s)$ 是该状态下的**平均水平**（按策略 $\pi$ 混合所有动作的结果）
• $Q^\pi(s,a)$ 是某个**具体动作**的水平
• 当 $Q > V$ 时，说明该具体动作优于当前平均水平，选它就能获得提升

第三步：更新策略——将策略修改为在满足 $Q > V$ 的状态处选对应的更优动作，生成新策略 $\pi'$。

迷宫数值示例：

设起点状态为 $s_0$，当前策略 $\pi$ 为随机行走，经评估得 $V^\pi(s_0) = -3$（平均需扣3分才能到出口）。各动作的 Q 值为：

• 向上：$Q = -5$
• 向下：$Q = -4$
• 向右：$Q = -2$
• 向左：$Q = -4$

由于向右动作的 $Q(-2) > V(-3)$，将策略改为"在 $s_0$ 时固定向右走"即可完成一次策略提升。

3.10 策略提升定理（严格表述）

定理：若 $\pi'$ 满足 $Q^\pi(s, \pi'(s)) \geq V^\pi(s)$ 对任意状态 $s$ 成立，则必有 $V_{\pi'}(s) \geq V_\pi(s)$ 对所有状态成立。

证明思路（递归展开）：

实施步骤：

1. 评估阶段：计算当前策略 $\pi$ 的价值函数 $V_\pi$
2. 改进阶段：寻找满足 $Q^\pi(s,a) \geq V_\pi(s)$ 的 $(s,a)$ 对
3. 策略更新：构造新策略 $\pi'$ 使其在关键状态选择更优动作

收敛保证：该迭代过程必然收敛到最优策略（价值函数有上界且每次迭代严格单调递增）。

四、深度强化学习

4.1 历史性突破

开创性工作——DQN：

• 论文：Playing Atari with Deep Reinforcement Learning
• 首次实现端到端学习游戏策略（输入像素 → 输出动作）
• 使用 CNN 处理游戏画面，DQN 算法学习 Q 函数

4.2 深度强化学习三大方法体系

三种方法的详细对比与分工：

各方法详细说明与代表算法：

基于价值的方法（Value-based）

核心思路是只学"每个动作值多少分"，分数最高的动作就选。策略完全隐藏在"选最大 Q 值动作"这条规则里，不显式存储任何策略函数。

其标志性特征是使用 $\varepsilon$-贪心策略（$\varepsilon$-greedy） 来平衡利用与探索：

• 以概率 $1-\varepsilon$ 选择当前 $Q$ 值最大的动作（利用已知的优质动作）
• 以概率 $\varepsilon$ 从所有动作中随机选择一个（探索未知可能）
• $\varepsilon$ 通常随训练进程从 1.0 逐渐衰减到 0.01 左右

优点：训练极其稳定、实现简单、理论基础扎实。缺点：只能处理离散且有限的动作空间——无法输出机器人关节角度或方向盘转角等连续值。

基于策略的方法（Policy-based）

核心思路是不学"动作多少分"，直接学"该怎么选动作"。神经网络直接输出动作的概率分布：

• 离散动作空间：输出层使用 Softmax，输出每个离散动作的选择概率
• 连续动作空间：输出层使用正态分布参数 $(\mu, \sigma)$，从中采样连续动作值

通过**策略梯度（Policy Gradient）**定理直接计算梯度：$\nabla_\theta J(\pi_\theta) = \mathbb{E} [ \nabla_\theta \log \pi_\theta(a \mid s) \cdot G_t ]$，其中 $G_t$ 为累积回报。每执行完一整局轨迹后用总回报作为"评分"来更新网络参数——动作获得高回报的概率被调高，低回报的概率被降低。

优点：能同时处理离散和连续动作、可直接优化非可微目标。致命弱点：必须等整局结束才能获得回报信号来更新策略，靠整局累计回报打分导致方差极大、训练过程剧烈震荡——就像考试后才知道整张卷子的总分，无法知道哪道题答得好。

Actor-Critic 架构

将上述两种方法的优点结合、缺陷互补。它由两个神经网络搭档组成：

• Actor（演员网络） $\pi_\theta(a|s)$：纯策略网络，负责观测状态后输出动作概率分布并执行动作。不评判对错，只根据 Critic 的评分微调自己的参数
• Critic（评论家网络） $V_w(s)$ 或 $Q_w(s,a)$：纯价值网络，负责输出状态价值或动作价值。使用贝尔曼时序差分误差（TD Error）$\delta_t = r_{t+1} + \gamma V(s_{t+1}) - V(s_t)$ 实时对 Actor 的动作打分

协作流程：Actor 选动作 → 环境给反馈 → Critic 用 TD 误差实时打分（正误差=做得好，负误差=做得差）→ Critic 自我优化评分准度 → Actor 根据评分调整动作概率 → 循环往复

Critic 提供的稳定参考标准解决了 REINFORCE 的方差问题（不再等整局结束才给反馈），Actor 保留了策略方法的连续动作能力。

主流改进版本：

• A2C（Advantage Actor-Critic）：将 Critic 的绝对评分升级为相对优势函数 $A(s,a) = Q(s,a) - V(s)$ ——"这个动作比平均好多少"，进一步降低方差
• PPO（Proximal Policy Optimization）：Actor 使用 PPO 的截断式目标函数，配合 A2C 风格的 Critic，成为目前工程上最广泛使用的 AC 类框架
• SAC（Soft Actor-Critic）：引入最大熵思想，自动平衡利用与探索，在连续控制任务中表现优异

PPO（Proximal Policy Optimization）——Actor-Critic 的究极稳定版

PPO 是目前工业界和科研界最主流、最好用的深度强化学习算法——大模型 RLHF（如 ChatGPT 对齐训练）、机器人控制、游戏 AI 全都采用它。PPO 属于 A2C 的直接升级版，其核心使命只有一个：解决传统 AC/A2C 策略更新幅度无限制导致训练崩溃的问题。

传统 A2C 的致命缺陷：

A2C 中 Actor 根据优势函数 $A(s,a)$ 调整动作概率时，策略更新幅度没有任何限制。如果某一步优势特别大，Actor 会一次性把动作概率改得极其夸张（例如从 0.5 直接跳到 0.95），导致策略分布剧变，训练直接崩掉、不收敛。

PPO 的基础架构——完全继承标准 AC 分工：

PPO 没有改变 AC 的核心分工模式，网络结构与 A2C 完全一致：

核心创新——PPO-Clip 剪切机制（灵魂所在）：

这是 PPO 区别于所有前代 AC 算法的唯一关键创新。它通过强制限制新旧策略之间的差异幅度来保证训练稳定性。

第一步——计算新旧策略比值 ratio：

• $\pi_{\text{new}}$：当前正在更新的新策略参数
• $\pi_{\text{old}}$：之前采集数据时的旧策略参数（固定不变）
• ratio > 1：新策略比旧策略更倾向选该动作
• ratio < 1：新策略比旧策略更不倾向选该动作

第二步——剪切限制：将 ratio 强制锁死在 $[1-\varepsilon, \, 1+\varepsilon]$ 范围内（$\varepsilon$ 通常设为 0.2）：

第三步——最终 Actor 损失函数：

该损失函数的运作逻辑：

超出范围的部分被硬性剪切掉——无论优势信号多强，单次更新的幅度都被死死限制在小范围内。

迷宫数值示例：

场景：起点 $S$ 向右是好方向，优势 $A(S,\text{向右}) > 0$

• A2C 行为：直接将"向右"概率从 0.5 → 0.9（一步到位，步子太大）
• PPO 行为：ratio 被限制在 [0.8, 1.2]，每次最多变化 20%$$0.50 \to 0.58 \to 0.66 \to 0.75 \to \cdots$$ 小步慢涨，既持续优化了策略又绝不失控

PPO 完整训练流程：

PPO vs A2C 全面对比：

为什么 PPO 如此流行？ 四大核心优势：(1) 稳到极致——永远不会因策略更新过猛而崩掉；(2) 简单好用——几乎不需要调参；(3) 性能强——效果不输甚至超越复杂的 TRPO 等算法，速度还更快；(4) 通用性极强——离散/连续动作全通吃，继承了 AC 架构的所有优点。这也是 OpenAI 在 ChatGPT 的 RLHF 训练中选择 PPO 作为核心算法的原因。

案例实战：王者荣耀 AI 如何用 PPO 从零学会打游戏？

腾讯开悟平台发布的王者荣耀 AI 开放环境（Honor of Kings Arena, HoK Arena） 是 PPO 在复杂游戏场景中的经典应用案例（NeurIPS Datasets & Benchmarks 2022）。以下完整展示该环境中一个智能体如何通过 PPO 从完全不会玩到超越人类水平。

环境概览——AI 面对的是什么任务？

该环境的论文发表于 NeurIPS 2022 D&B Track：Wei et al., "Honor of Kings Arena: an Environment for Generalization in Competitive Reinforcement Learning"

奖励设计——AI 怎么知道"打得好"？

环境使用多维度组合奖励函数引导 AI 学习正确行为。以 1v1 模式为例：

这种细粒度的奖励塑形（Reward Shaping）让 AI 的学习路径清晰可循：先学会不死 → 再学会赚钱升级 → 最后学会打架和推塔。

PPO 在该环境中的具体适配

PPO 的标准流程在此环境中有几个关键工程适配：

训练过程全景——AI 是怎么一步步变强的？

关键观察：PPO 的 clip 机制在整个训练过程中发挥了决定性作用。MOBA 游戏的状态空间极其复杂且高度非平稳（对手策略也在变化），如果用传统 A2C 无限制更新，AI 很容易在某次大胜或大败后剧烈改变策略导致"突然变菜"。PPO 通过限制每次更新幅度（±20%），保证了 AI 的实力单调递增而非忽高忽低。

技术亮点——该环境的特殊挑战与解决方案

效果验证

根据论文报告的基线结果：

• 经过充分训练后，PPO 智能体在多数支持的英雄上稳定击败内置规则 AI
• 在 1v1 模式下，部分英雄的 AI 已接近或达到人类中等以上水平
• 3v3 模式中展现出团队协作能力（集火、保护后排、资源分配）

这个案例完整展示了 PPO 从理论到工程落地的全过程：标准 PPO 算法框架 → 针对 MOBA 任务的环境适配 → 细粒度奖励设计 → 大规模并行训练 → 从随机乱走到超越人类的渐进成长。

4.3 函数近似：从表格到神经网络

传统 RL 的表格——究竟是什么？

表格型强化学习（Tabular RL）的核心思想极其直观：将所有可能出现的状态 $s$ 和动作 $a$ 全部枚举出来，排列成一张表格，每个格子里存储一个固定数值。根据存储对象的不同，存在三种表格：

Q 表（动作价值表）——最常用

• 行 = 所有可能的状态（如迷宫的每个格子）
• 列 = 所有可能的动作（如上下左右）
• 单元格 = $Q(s,a)$ 值（在该状态选该动作的长期价值）
• 决策方式：查表。在状态 A 查表 → 向右 Q=-2 为最大 → 直接选向右

V 表（状态价值表）

一行一个状态，存该状态的长期价值。

策略表 $\pi$

单元格存选择该动作的概率，所有概率之和为1。

表格的核心逻辑：一一对应、死记硬背

表格 RL 的运作方式非常直接：

• 遇到见过的状态 $s$ → 表中有对应行 → 查表得结果
• 遇到没见过的状态 $s$ → 表中无此行 → 完全无法处理
• 每个 $(s,a)$ 的值都是单独存储、独立更新，不同状态之间互不通用

这种方式在迷宫（几十个格子）、井字棋等小规模环境中简单有效。

表格的三大绝症——为何现实场景中必然崩溃

当状态空间从"几十个格子"变为真实世界的复杂场景时，表格方法面临三个致命问题：

绝症一：存不下

以 Atari 游戏为例：输入为 84×84 像素的灰度图像，每个像素取值 0~255。理论上的总状态数为 $256^{84 \times 84}$ —— 这个数字远超宇宙中的原子总数。即使不考虑存储空间，建表本身在物理上都不可行。

更极端的场景如机器人控制或自动驾驶：状态包含连续变量（关节角度、速度、位置、摄像头图像），状态空间是无限稠密的，根本无法用离散表格枚举。

绝症二：学不完

表格只能对已经访问过的状态给出有意义的估值。对于从未见过的状态，表格中没有记录，智能体完全不知道如何决策。而在高维空间中，状态组合几乎是无穷的，穷举式学习在时间上也不可行。

绝症三：不通用

表格为每个状态存储独立的数值，状态之间没有任何知识共享。游戏画面只差1个像素（对人类来说完全同一场景），在表格看来就是两个完全不同的状态，需要分别学习。

深度学习的解决方案——函数近似（Function Approximation）

深度强化学习的核心突破是用神经网络的参数 $\theta$ 替代超大表格，做函数拟合：

具体例子理解"学规律 vs 死记硬背"

• 表格 RL 记住的是："迷宫格子A向右走最好"
• 深度 RL 学会的是："靠近出口的方向是好方向"这一通用规律

因此换到一个全新的迷宫（虽然具体格子编号不同），深度RL的网络依然能基于学到的规律做出合理决策，而表格RL则必须从零开始重新学习每一个新格子。

这就是课件中**"函数近似"（Function Approximation）的含义：不再用表格硬存每个状态的数值，而是用一个参数化函数（神经网络）来拟合**价值函数或策略函数。$\theta$ 代表网络的全部权重参数，仅凭这几百万个参数就能替代理论上无限大的表格。

Q-learning 到 DQN 的进化路径

Q-learning 和 DQN 是父子关系，两者共享完全相同的决策逻辑和数学框架：