EvalAI:评估AI的最新水平 源码

EvalAI是一个开源平台,用于大规模评估和比较机器学习(ML)和人工智能(AI)算法。 近年来,将解决给定任务的算法与其他现有方法进行比较变得越来越困难。 这些比较在算法实现,使用非标准数据集拆分和使用不同评估指标方面存在细微差异。 通过提供中央排行榜和提交界面,我们可以使研究人员更轻松地重现论文中提到的结果,并进行可靠,准确的定量分析。 通过提供基于map-reduce框架的快速,健壮的后端,以加快动态评估速度,EvalAI旨在使研究人员更轻松地从技术论文中复制结果并进行可靠,准确的分析。 产品特点 自定义评估协议和阶段:我们允许创建任意数量的评估阶段和数据集拆分,使用任何编程语言兼容,