GPT-3复现为什么一直失败？
所有公开的对GPT-3的复现都失败了，即使模型接近或超过了GPT-3的参数量，仍不能与其性能匹配。开源社区需要注意多次尝试不同的训练设置，并承担高昂的训练成本。虽然一些模型声称在某些任务上能够匹配或超过原始GPT-3的表现，但在更多任务上表现存疑。我们可以从这些失败中吸取教训。
下载地址
用户评论
