神经网络分析.pptx

神经网络-GPU分析优化,时间更宝贵,尽可能使模型变快(减少flop) 显存占用不是和batch size简单成正比,模型自身的参数及其延伸出来的数据也要占据显存 batch size越大,速度未必越快。在你充分利用计算资源的时候,加大batch size在速度上的提升很有限(减少数据加载等待,提高并行)