首页/AI术语词典/残差连接
深度学习难度 ★★★★

残差连接

给网络一条"捷径"——让梯度直接流过100层网络而不消失

分享:

📖 详细解释

🎯 一句话定义

给网络一条"捷径"——让梯度直接流过100层网络而不消失

⚙️ 工作原理

输出 = F(x) + x,恒等映射只需学F(x)=0。解决了深层网络的梯度消失问题,使100+层网络可训练

💡 生活类比

"公司管理:如果每个层级都要汇报,信息从基层到CEO会严重失真。残差连接像一条"直达电梯"跳过中间层"

🌍 真实应用

ResNet(2015)让152层网络成为可能,此后所有SOTA模型(ViT, Transformer)都借鉴了残差思想

🔗 相关术语