nncf:基于PyTorch *的神经网络压缩框架用于增强OpenVINO:trade_mark:推理 源码

神经网络压缩框架(NNCF) 该存储库包含基于PyTorch *的框架和用于神经网络压缩的样本。 该框架以Python *包的形式组织,可以在独立模式下构建和使用。 框架架构是统一的,可以轻松添加不同的压缩方法。 这些样本演示了在公共模型和数据集上三个不同用例中压缩算法的用法:图像分类,对象检测和语义分割。 在本文档末尾的表格中,可以找到使用NNCF驱动的样本可获得的。 主要特点 在模型微调过程中应用的各种压缩算法的支持,以实现最佳压缩参数和精度: 自动,可配置的模型图转换以获得压缩模型。 源模型由自定义类包装,并且在图形中插入了其他特定于压缩的图层。 压缩方法的通用接口 GPU加速层