深度学习难度 ★★★★☆
残差连接
给网络一条"捷径"——让梯度直接流过100层网络而不消失
分享:
📖 详细解释
🎯 一句话定义
给网络一条"捷径"——让梯度直接流过100层网络而不消失
⚙️ 工作原理
输出 = F(x) + x,恒等映射只需学F(x)=0。解决了深层网络的梯度消失问题,使100+层网络可训练
💡 生活类比
"公司管理:如果每个层级都要汇报,信息从基层到CEO会严重失真。残差连接像一条"直达电梯"跳过中间层"
🌍 真实应用
ResNet(2015)让152层网络成为可能,此后所有SOTA模型(ViT, Transformer)都借鉴了残差思想