首页/AI术语词典/梯度下降
深度学习难度 ★★★☆☆

梯度下降

像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)

分享:

📖 详细解释

🎯 一句话定义

像蒙眼下山——用脚探坡度,朝着最陡的方向走,直到走到谷底(最优解)

⚙️ 工作原理

θ ← θ - η∇J(θ)。η=学习率,∇J=损失函数对参数的梯度。学习率太大越过谷底,太小走太慢

💡 生活类比

"蒙眼站在山上,用脚感受哪个方向最陡,往那个方向走一小步,重复直到走到谷底"

🌍 真实应用

几乎所有深度学习模型的训练都依赖梯度下降及其变体(Adam等)

🔗 相关术语