MSMARCO Document Ranking Submissions:MS MARCO文档排名排行榜的提交存档 源码

MS MARCO文件排名提交 此存储库包含MS MARCO官方文档排名排行榜,并描述了提交运行的过程。 与该任务相关的所有数据(语料库,培训数据,评估查询等)都保存在。 投稿须知 要提交,请按照以下说明进行操作: 确定提交ID,该ID将是永久(公共)唯一密钥。 提交ID的格式应为yyyymmdd-foo ,其中foo可以是您选择的后缀,例如组名。 请保持合理的长度。 有关示例,请参见。 yyyymmdd应该对应于您的跑步的提交日期。 在目录submissions/ ,创建以下文件: submissions/yyyymmdd-foo/dev.txt.bz2运行在dev查询上的文件( msmarco-docdev-queries.tsv ),bz2压缩 submissions/yyyymmdd-foo/eval.txt.bz2在eval查询中运行文件( docleaderboard-qu