k fac 源码

K-FAC_pytorch 和。 (仅支持单GPU培训,需要对多GPU进行修改。) 需求要求 pytorch 0.4.0 torchvision python 3.6.0 tqdm tensorboardX tensorflow 怎么跑 python main.py --dataset cifar10 --optimizer kfac --network vgg16_bn --epoch 100 --milestone 40,80 --learning_rate 0.01 --damping 0.03 --weight_decay 0.003 表现 注意:有关K-FAC的更好的参数,请参考回购。 (下面的参数不够好!尤其是重量衰减太小!) 对于K-FAC和E-KFAC,学习率,重量衰减和阻尼的搜索范围是: (1)学习率= [3e-2、1e-2、3e-3] (2)权重衰减= [1e-2