Scaling Law被证伪，谷歌研究人员实锤研究力挺小模型更高效，不局限于特定采样技术！

“模型越大，效果越好”，Scaling Law再次被OpenAI带火了，但谷歌的研究人员的最新研究证伪了这一观点。

在周一发表的一项研究中，谷歌研究院和约翰霍普金斯大学的研究人员对人工智能 (AI) 模型在图像生成任务中的效率有了新的认识。这些发现挑战了“越大越好”的普遍信念，可能对开发更高效的人工智能系统产生重大影响。

模型大小与性能之间的较量

这项研究由研究人员Kangfu Mei 和Zhengzhong Tu 来主导，重点关注潜在扩散模型（LDM）的缩放特性及其采样效率。LDM 是一种人工智能模型，用于根据文本描述生成高质量图像。

为了研究模型大小和性能之间的关系，研究人员训练了一套 12 个文本到图像 LDM，其参数数量从 3900 万到惊人的 50 亿不等。然后，这些模型在各种任务上进行了评估，包括文本到图像的生成、超分辨率和主题驱动的合成。

论文中写到，“虽然改进的网络架构和推理算法已被证明可以有效提高扩散模型的采样效率，但模型大小（采样效率的关键决定因素）的作用尚未得到彻底检验。“

令人惊讶的是，研究表明，在给定的推理预算下（相同的采样成本）运行时，较小的模型可以胜过较大的模型。换句话说，当计算资源有限时，更紧凑的模型可能比较大、资源密集的模型能够生成更高质量的图像。这为在模型规模上加速LDMs提供了一个有前景的方向。

论文还进一步表明，采样效率在多个维度上是一致的。研究人员有一个重要发现，较小模型的采样效率在各种扩散采样器（随机和确定性）中都是保持一致，甚至在蒸馏模型（原始模型的压缩版本）中也是如此。这表明较小模型的优势并不限于特定的采样技术或模型压缩方法。

研究者认为，这种对缩放采样效率的分析将对指导LDMs的未来发展起到关键作用，特别是在广泛的实际应用中平衡模型规模与性能和效率方面。

然而，该研究还指出，当计算约束放松时，较大的模型仍然擅长生成细粒度的细节。这表明虽然较小的模型可能更有效，但在某些情况下仍然需要使用较大的模型。