virtex:服务于计算工作负载 源码

涡流 Virtex是一个ML服务框架,可用于在GPU上运行推理。 内容 部分 描述 哲学与实施 功能概述 如何安装套件 Virtex概述 普罗米修斯指标集成 链接到完整示例 性能比较 [文档] 完整的API文档等 设计原则 哲学 灵活性:Python本机服务实现无需供应商锁定。 使用您选择的软件包。 无共享:事件循环上的高性能服务实施,将昂贵的计算卸载到加速器。 没有进程间通讯! 执行 动态批量 建立在和之上的异步服务。 通过协程和期货在同一线程上进行服务和模型执行。 通过gunicorn流程管理器进行并行 特征 完全抽象的网络平面。 普罗米修斯指标,支持抓取和推送消费模型。 内