深度学习难度 ★★★☆☆
梯度下降
像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)
分享:
📖 详细解释
🎯 一句话定义
像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)
⚙️ 工作原理
θ ← θ - η∇J(θ)。η=学习率,∇J=损失函数对参数的梯度。学习率太大越过谷底,太小走太慢
💡 生活类比
"蒙眼站在山上,用脚感受哪个方向最陡,往那个方向走一小步,重复直到走到谷底"
🌍 真实应用
几乎所有深度学习模型的训练都依赖梯度下降及其变体(Adam等)
像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)
像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)
θ ← θ - η∇J(θ)。η=学习率,∇J=损失函数对参数的梯度。学习率太大越过谷底,太小走太慢
"蒙眼站在山上,用脚感受哪个方向最陡,往那个方向走一小步,重复直到走到谷底"
几乎所有深度学习模型的训练都依赖梯度下降及其变体(Adam等)