多Agent强化学习研究多个智能体在共同环境中通过试错学习决策策略。与单Agent强化学习不同，环境状态转移和奖励不仅取决于单个智能体行为，还依赖其他智能体行为，因此非平稳性成为最大挑战。从协作机器人、多无人机编队、分布式交通信号控制，到游戏AI、拍卖与交易竞争，都体现协作与竞争的并存。不同任务中智能体之间的利益关系差异很大，这直接决定了算法设计的目标和稳定概念。

一、从单Agent到多Agent：马尔可夫博弈建模

单Agent强化学习通常用马尔可夫决策过程（MDP）描述，智能体观察环境状态，选择动作，获得奖励，环境转移到下一状态。当环境中存在多个智能体时，MDP不再适用，因为任何智能体的状态转移和奖励都受到其他智能体动作的影响。多Agent强化学习通常将这类问题形式化为随机博弈，也叫马尔可夫博弈。它用一个元组来描述：智能体集合、状态空间、各智能体的观测空间、动作空间、状态转移函数、奖励函数和折扣因子。状态转移函数依赖当前状态以及所有智能体的联合动作，而不是单一动作。

这种依赖关系带来一个直接后果：环境从单个智能体的角度看是非平稳的。即使该智能体保持策略不变，其他智能体改变策略也会导致观测分布和奖励分布改变。这破坏了单Agent强化学习算法对平稳环境的假设，使价值函数估计和策略更新都变得不稳定。因此很多单Agent方法直接搬到多Agent场景中会出现震荡甚至不收敛。

根据奖励结构，多Agent问题可以分为三类：完全合作、完全竞争和混合动机。完全合作任务中所有智能体共享同一个团队奖励，比如多机器人搬运、多无人机搜索。完全竞争通常建模为零和博弈，一个智能体的收益是另一个智能体的损失，例如棋类对抗、双边拍卖中的零和部分。混合动机则更为普遍，智能体既有共同利益也有私人利益，例如自动驾驶车辆既要避免碰撞又希望尽快通过路口。理解奖励结构是选择算法的前提，因为不同结构下的稳定概念不同：合作对应团队最优，竞争对应纳什均衡，混合动机则需要更细致的均衡概念。

二、协作强化学习的核心方法

协作任务的目标是让所有智能体学会最大化全局奖励。最直接的思路是让每个智能体独立学习，但奖励信号若只给团队，单个智能体很难判断自己的贡献，这就是信用分配问题。集中训练分散执行（CTDE）成为解决该问题的主流范式。训练阶段，智能体可以利用全局状态、其他智能体的动作等额外信息来辅助学习；执行阶段，每个智能体只根据局部观测做决策。这种设定既保留了分布式部署的可行性，又缓解了训练中的非平稳性。

在CTDE框架下，值分解方法把联合动作价值函数拆解为个体价值函数的组合。VDN假设联合Q值等于个体Q值之和，QMIX则允许通过一个单调混合网络组合个体Q值。这样在训练时可以基于全局奖励更新联合Q值，执行时每个智能体只需选择令自己个体Q值最大的动作。值分解的优势是避免联合动作空间爆炸，同时保留个体决策的可分解性。不过单调性假设并不总是成立，某些任务中联合Q值与个体Q值之间并非单调关系，这时需要QTRAN等更灵活的分解方式。

另一个协作方向是引入通信机制。智能体之间可以传递消息，把各自的观测编码成消息，再通过图神经网络或注意力机制聚合。通信学习让智能体学会何时发送什么信息，而不是在所有时刻广播全部观测。这能减少通信开销，也能帮助分散执行时保留全局信息。通信机制在部分可观测环境中效果明显，例如多机器人协同探索时，某个机器人发现目标后可以把位置信息传递给队友。但通信带宽、延迟和对抗干扰是实际落地的困难。

三、竞争与混合动机下的算法设计

竞争场景下的学习目标不再是简单的最大化团队奖励，而是寻找策略之间的均衡。在两人零和博弈中，最小最大化Q学习把对手视为最坏情况，更新Q值时选择使自身收益最大化、对手收益最小化的动作。这个思路在棋类、扑克AI中广泛应用。但在大规模状态空间中，精确求解纳什均衡不可行，通常使用深度网络近似，并结合自博弈不断生成新的对手。自博弈让智能体与历史版本或当前版本对弈，能持续提升策略强度，AlphaGo系列就是一个典型例子。

对于非零和的混合动机场景，情况更加微妙。智能体可能陷入社会困境：个体理性导致集体次优结果，比如囚徒困境中双方都选择背叛。为了引导协作，研究者引入内在奖励、对手建模和分级训练。对手建模是让智能体根据对手的历史行为推断其目标或策略，从而做出更有针对性的决策。例如在自动驾驶路口博弈中，车辆可以估计相邻车辆是激进还是保守，据此调整加速度。对手建模的难点在于部分可观测性和非平稳性，需要在线更新模型。

混合动机下还有一个重要概念是课程学习与经验回放。由于均衡可能随训练动态变化，传统的经验回放会存储过时策略产生的数据，导致训练不稳定。为此，研究者提出优先使用近期数据、周期性清理回放池或使用策略蒸馏等方法。虽然这些方法在实验中有效，但理论保证仍然薄弱，平衡协作与竞争依然是一个开放问题。

四、MADDPG示例：集中评判与分散执行

多智能体深度确定性策略梯度（MADDPG）是CTDE思想在连续动作空间中的代表算法。它扩展了DDPG，为每个智能体维护一个Actor和一个Critic。Critic在训练时接收所有智能体的观测和动作，因此可以评估联合动作的价值；Actor只接收自身观测，输出自身动作。更新时，Critic通过最小化时序差分误差学习全局Q函数，Actor通过确定性策略梯度更新参数，目标是从Critic得到的Q值对自身动作求导。

下面是一个简化实现，展示Actor和Critic网络结构。为了代码简洁，这里省略了经验回放和目标网络。

import torch
import torch.nn as nn
class Actor(nn.Module):
    def __init__(self, obs_dim, act_dim):
        super(Actor, self).__init__()
        self.net = nn.Sequential(
            nn.Linear(obs_dim, 128),
            nn.ReLU(),
            nn.Linear(128, 128),
            nn.ReLU(),
            nn.Linear(128, act_dim),
            nn.Tanh()
        )
    def forward(self, obs):
        return self.net(obs)
class Critic(nn.Module):
    def __init__(self, total_obs_dim, total_act_dim):
        super(Critic, self).__init__()
        self.net = nn.Sequential(
            nn.Linear(total_obs_dim + total_act_dim, 256),
            nn.ReLU(),
            nn.Linear(256, 256),
            nn.ReLU(),
            nn.Linear(256, 1)
        )
    def forward(self, states, actions):
        x = torch.cat([states, actions], dim=-1)
        return self.net(x)

实际训练时，每个智能体的Critic输入是所有智能体状态和动作的拼接。假设环境有N个智能体，状态维度均为obs_dim，动作维度均为act_dim，那么Critic输入维度是N * obs_dim + N * act_dim。Actor更新时对Critic输出关于自身动作求梯度，并使用链式法则从Critic传回Actor。由于Critic只在训练时存在，执行阶段可以只部署Actor，满足分散执行要求。MADDPG在合作、竞争和混合任务中都能使用，但它对超参数敏感，且在大规模智能体数量下联合Critic输入维度会迅速增大。

五、落地挑战与调优建议

多Agent强化学习从实验到落地面临几个常见障碍。首先是奖励设计，团队奖励稀疏会导致学习速度极慢，而个体奖励设置不当又会鼓励搭便车。实际项目中通常采用分阶段奖励、奖励塑形或内在好奇心机制。其次是非平稳性，策略迭代过程中环境动态不断变化，经验回放中的旧数据可能误导当前训练。可以缩短回放窗口、使用对手采样或周期性同步策略。

另一个容易被忽视的问题是样本效率。多Agent联合动作空间随智能体数量指数增长，随机探索很难覆盖有意义的状态。针对这个问题，可以引入课程学习，从少量智能体或简化任务开始逐渐增加难度；也可以使用模仿学习或离线强化学习预训练。分布式训练方面，需要合理分配环境交互和参数更新，避免单个节点成为瓶颈。

从架构角度看，能够清晰区分协作与竞争边界的设计更利于调优。例如在交通信号控制中，相邻路口的协调是协作，跨区域资源竞争属于竞争，将这两类关系显式编码到图结构或奖励项中，通常比完全黑盒训练更稳定。未来多Agent强化学习的发展方向包括大规模异构智能体、人机混合决策、安全约束下的策略学习，以及更通用的均衡求解框架。理解协作与竞争的本质，是设计高效多智能体系统的起点。