CTranslate2:适用于OpenNMT模型的快速推理引擎 源码

CTranslate2 CTranslate2是适用于支持CPU和GPU执行的和模型的快速推理引擎。 目标是提供全面的推理功能,并成为部署标准神经机器翻译系统(例如Transformer模型)的最有效和最具成本效益的解决方案。 该项目以生产为导向,具有,但它还包括与模型压缩和推理加速有关的实验功能。 目录 主要特点 在CPU和GPU上快速高效地执行支持的模型和任务的通用深度学习框架相比,执行。 量化和降低精度模型序列化和计算以较低的精度支持权重:16位浮点(FP16),16位整数和8位整数。 多种CPU架构支持该项目支持x86-64和ARM64处理器,并集成了针对这些平台进行了优化的