关于保存模型大小的问题

[SSSS88888]

按照作者的描述，pretrain_512.pth和full_sft_512.pth应该只有26M，pretrain_768.pth应该是108M，但是保存下来的文件却要大好几倍，这是为什么呢？
另外，经过检查，LMConfig里吗的模型结构也都是对的，开始训练时控制台输出的大小也是正确的。各位有遇到这个问题吗？

[jingyaogong]

这里的M是(Million)参数数量，不是文件大小

float32占4字节

100M模型权重文件大小 ≈ 100M × 4 ≈ 400,000,000字节 ≈ 400MB

[SSSS88888]

这里的M是(Million)参数数量，不是文件大小

float32占4字节

100M模型权重文件大小 = 100M × 4 ≈ 400,000,000字节 ≈ 400MB

谢谢大神，我明白了！