解释可解释性:理解数据科学家使用机器学习的可解释性工具.pdf

我们对数据科学家进行了背景调查(N=11)和调查(N=197)，以观察他们如何使用可解释性工具来发现在构建和评估ML模型时出现的常见问题。我们的结果表明，数据科学家过度信任和滥用解释工具。此外，很少有参与者能够准确地描述这些工具的可视化输出。我们为数据科学家的可解释工具心智模型强调定性主题。我们总结了对研究人员和工具设计者的启示，并将我们的发现置于社会科学文献的背景中。