笔记 关于神经网络黑盒模型可解释性可视化

原博地址:深度学习黑盒可视化指南,从隐藏层开始 摘: 一旦神经网络接收到相当大的所需数据集后,该网络就会使用其精确的知识“权重”来证明或识别未知数据样本上的模式。 即在经过大量数据集训练以后,神经网络就可以学会该数据集的知识,知识表现为“权重”。知识可以用来判断与数据集同分布的数据的模式,即pattern。 数据偏向问题的例子 文中关于识别隐匿的tank,却表现为识别天气的模型。 这个故事的来源是这样的: 美国陆军希望使用神经网络来自动检测伪装的敌方坦克。研究人员用两组数据来训练神经网络,一组是50张坦克伪装在树林中的照片,另一组是50张没有坦克的树林照片。然后,研究人员又拍摄了另外一组100