归纳偏置多通道CNN:TODO 源码

概述 这是以下手稿的代码存储库:“具有有限权重范数的多通道线性卷积网络的归纳偏置”(Meena Jagadeesan,Ilya Razenshteyn,Suriya Gunasekar)。 论文摘要 我们研究了线性卷积网络中控制权重的\\ ell_2 $范数所产生的归纳偏置的函数空间特征。 我们从实现空间函数所需权重的最小范数给出的函数空间中的归纳正则化器的角度来看待这一点。 对于具有$ C $输出通道和内核大小$ K $的两层线性卷积网络,我们显示以下内容:(a)如果网络的输入具有单个通道,则对于任何$ K $的归纳正则化器为通过半定程序(SDP)进行,该程序与输出通道$ C $的数量无关。 我们通过MNIST上的二进制分类任务进一步验证了这些结果。 (b)相反,对于具有多通道输入的网络,可能仅需实现所有矩阵值线性函数就需要多个输出通道,因此,电感性偏差确实取决于$ C $。 此外,对于