强化学习难度 ★★★★★
PPO
在策略梯度基础上改进，又稳定又好用，是现在的"默认选择"
分享：
📖 详细解释
🎯 一句话定义
在策略梯度基础上改进，又稳定又好用，是现在的"默认选择"
⚙️ 工作原理
Proximal Policy Optimization：限制新旧策略的比例(clip)，防止策略更新过大。实现简单、样本效率高、训练稳定，是工业界首选
💡 生活类比
"策略梯度是每次大步改策略，容易改崩。PPO是"小步慢跑"——每次只改一点点，确保不会比之前差太远，稳定最重要"
🌍 真实应用
ChatGPT的RLHF阶段用PPO来对齐人类偏好。OpenAI的机器人手解魔方也用了PPO