The number of model parameters $N$ needed to fit a dataset of size $D$ also scales as a power law.
模型参数数量与数据量之间也存在幂律关系，这是缩放定律的核心概念之一。初学者常孤立地考虑模型大小或数据量，而忽视它们之间的相互依赖关系。理解这一关系有助于更有效地分配计算资源。
1 Matching Annotations
- Last 7 days
-
lilianweng.github.io lilianweng.github.io
-