Torchserve 基准测试:基准化Torchserve和Tensorflow服务的客户端 源码

用法 1.目录 确保主目录中有这些文件夹。 /model-server /benchmark /conf /logs /model-store /tmp /torchserve_benchmark 并使用chmod -R 777授予这些文件夹的权限。 2.指令 rm -rf logs/; singularity run --nv -B ~/model-server:/home/model-server torchserve_latest-gpu.sif "torchserve --start --model-store /home/model-server/model-store --ts-config /home/model-server/benchmark/conf/config.properties > /home/model-server