基于深度强化学习的自动驾驶策略算法：DDPG和PPO两种深度强化学习策略含：python实...

AUVpwoxkW

328人浏览 · 2026-02-25 18:00:00

AUVpwoxkW · 2026-02-25 18:00:00 发布

基于深度强化学习的自动驾驶策略算法：DDPG和PPO两种深度强化学习策略含：python实验结果（视频和训练结果曲线图），报告

深夜的服务器机房嗡嗡作响，显示器蓝光映在布满咖啡渍的键盘上。我盯着屏幕上歪歪扭扭的奖励曲线，突然意识到这辆虚拟小车已经连续撞了三十七次路灯——在深度强化学习的江湖里，DDPG和PPO这两位高手正用截然不同的方式调教着这辆自动驾驶菜鸟。

先看DDPG这位"老司机"，它的核心武器是双网络架构。Actor网络像经验丰富的赛车手，直接输出方向盘转角；Critic网络则像副驾驶，实时评估动作价值。下面这段代码藏着个魔鬼细节：

class Actor(nn.Module):
    def __init__(self, state_dim, action_dim, max_action):
        super(Actor, self).__init__()
        self.layer = nn.Sequential(
            nn.Linear(state_dim, 400),
            nn.LayerNorm(400),  # 这个层标准化是驯服不收敛的秘方
            nn.ReLU(),
            nn.Linear(400, 300),
            nn.LayerNorm(300),
            nn.ReLU(),
            nn.Linear(300, action_dim),
            nn.Tanh()
        )
        self.max_action = max_action

    def forward(self, state):
        return self.max_action * self.layer(state)

注意到那些LayerNorm了吗？在连续动作空间里，这就像给神经网络的油门踏板装了防滑垫，防止梯度更新时动作输出像脱缰野马。实验中发现，去掉这两个归一化层，小车的行驶轨迹会变得比醉驾还离谱。

PPO走的是另一条路子，这位"保守派"高手最擅长在探索与利用之间走钢丝。它的关键绝招是概率比裁剪：

def compute_loss(self, states, actions, advantages, old_log_probs):
    mu, sigma = self.actor(states)
    new_dist = Normal(mu, sigma)
    new_log_probs = new_dist.log_prob(actions)
    
    ratio = (new_log_probs - old_log_probs).exp()
    clipped_ratio = torch.clamp(ratio, 1 - self.eps, 1 + self.eps)
    
    surr1 = ratio * advantages
    surr2 = clipped_ratio * advantages
    actor_loss = -torch.min(surr1, surr2).mean()
    
    critic_loss = F.mse_loss(self.critic(states), targets)
    return actor_loss + 0.5 * critic_loss

这个像老虎钳一样的clip操作，确保了策略更新不会跨大步扯着蛋。在某个凌晨三点的测试中，当我把epsilon从0.2调到0.5时，小车突然开始疯狂转圈——原来过大的更新步长让它陷入了局部最优的死亡螺旋。