AI基础难度 ★★★☆☆
缩放定律
模型越大、数据越多、算力越强,AI性能就越好——而且这个关系是可预测的
分享:
📖 详细解释
🎯 一句话定义
模型越大、数据越多、算力越强,AI性能就越好——而且这个关系是可预测的
⚙️ 工作原理
OpenAI 2020年提出:损失L ∝ (N^a × D^b × C^c)^-1,即性能随参数量N、数据量D、算力C的增加而幂律下降。这是大模型竞赛的理论基础
💡 生活类比
"就像城市越大经济越发达:人口(参数量)×土地(数据)×基础设施(算力) = 经济规模(AI能力),而且是超线性增长"
🌍 真实应用
从GPT-1(1.17亿)到GPT-3(1750亿)再到GPT-4(万亿级),OpenAI一直在按缩放定律"堆料"