BIG bench:超越模仿游戏的协作基准适用于多种语言模型 源码

大台 :chair: 超越模仿游戏基准(BIG-bench)将是一个协作基准,旨在探究大型语言模型并推断其未来功能。 我们邀请通过GitHub pull request将任务提交到该基准测试。 所有接受任务的提交者都将作为共同作者纳入宣布基准的论文中。 基准测试的初步结果也将在ICLR 2021的”进行介绍。Google和OpenAI的团队致力于评估BIG-Bench最佳性能模型体系结构,涉及数十种模型。数千到数千亿个参数。 评估结果也将在研讨会上发布,并包含在相关论文中。 我们还将通过其他组织的大型语言模型在基准上。 我们会将贡献的基准测试结果包括在研讨会上宣布的结果以及相关的论文中。 可以通过与基准组织者联系。 提交时间表 次决胜回合 到期日 描述 1个 2021年3月5日 必须打开拉取请求,才有资格在研讨会上进行演示 1个 2021年3月26日 上面的拉取请求必须合并 2个 2021年5