NLP任务如何选择正确GPU训练 Exxact NLP Choosing The Right GPU

我们不再谈论受限的词汇和语法,而是每天从英语到德语的演讲。不仅用于翻译学术论文,而且还可以在游客的手机上实时进行语音识别! 使之成为可能的是神经网络和深度学习系统的最新发展,尤其是称为变压器的神经网络架构。研究人员表明,变压器网络特别适合在基于GPU的系统上并行化。这些网络优于传统的机器翻译简介模型,并且能够产生高质量的翻译。 问题在于,变压器网络需要大量的GPU内存,远远超出了大多数入门级深度学习平台所能找到的范围。基于消费级GPU的系统(例如常用的NVIDIA GeForce RTX 2080 Ti)将以所需的批处理大小快速耗尽内存,以实现高质量的结果。尽管非常适合于其他并行处理应用程