wageubn:WAGEUBN的pytorch实施 源码

付诸行动 rububn的pytorch实现。 注意 此基于与相同的框架 rububn的模块 功能功能 function是torch.nn.modules的重新torch.nn.modules 。 除了原始函数中使用的所有args外,量化函数还获得2种可选参数: bit_width和retrain 。 bit_width有2种类型:权重/偏差或激活。 如果retrain为True ,则模块将处于retrain模式,且log2_t可训练。 否则,在静态模式下, log2_t由初始化确定并且不可训练。 阈值 提供3种初始化阈值的方法: init_max , init_kl_j , init_3sd 。 要正确初始化权重和阈值,请按照以下方法构建具有宽容度的网络。 充满信心地建立网络 为了获取每个模块的输出,网络应该是平坦的,即没有nn.Sequential ,没有嵌套的nn.ModuleL