Cal FLOPs for PLM:在NLP中计算预训练模型的FLOP 源码

Cal-FLOPs for PLM 在NLP中计算预训练模型的FLOP 该存储库提供了有关为Pytorch Framework中的NLP模型(主要是PLM)计算FLOP和参数的示例脚本。 该示例脚本展示了两种类型的开源FLOPs计数器工具的用法。 FLOPs计数器和Parameters计数器基于和的开源工具 安装 从PyPI: pip install thop pip install ptflops 要求: 火炬> = 1.0.0 变压器> = 2.2.0 例子 参见example.py