服务:用于机器学习模型的灵活高性能的服务系统 源码

TensorFlow服务 TensorFlow Serving是一个针对机器学习模型的灵活,高性能的服务系统,专为生产环境而设计。 它处理机器学习的推理方面,在训练和管理生命周期之后进行建模,并通过高性能的参考计数查找表为客户提供版本化的访问。 TensorFlow Serving提供与TensorFlow模型的现成集成,但可以轻松扩展以服务于其他类型的模型和数据。 要注意一些功能: 可以同时服务多个模型或相同模型的多个版本 公开gRPC和HTTP推断端点 允许部署新模型版本,而无需更改任何客户端代码 支持Canarying新版本和A / B测试实验模型 高效,低开销的实施,可将推理时间