如何使用max_batch_size，batch_timeout_micros，num_batch_threads和其他参数进行批处理性能调整？尝试使用这些参数与查询客户端，它不起作用。
在下面的示例中，我有100个图像，我想批量大小为10.查询运行所有图像而不是10。 bazel-bin / tensorflow_serving / example / demo_batch --server = localhost：9000 --max_batch_size = 10
另外，对于批量调度，如何在第一批完成后每隔10秒运行一次？感谢。
答案 0 :(得分：3)
我遇到了和你一样的问题。
我检查了tf-serving的源代码，这些参数是在protobuf文件中定义的
serving/tensorflow_serving/servables/tensorflow/session_bundle_config.proto
我在
中找到了示例conf文件服务/ tensorflow_serving / servables / tensorflow / TESTDATA / batching_config.txt
我相信您可以遵循batching_config.txt格式，参数配置应该可以正常工作。
希望它有所帮助。
max_batch_size {value：1024}
batch_timeout_micros {值：0}
max_enqueued_batches {value：1000000}
num_batch_threads {value：8}
allowed_batch_sizes：1
allowed_batch_sizes：2
allowed_batch_sizes：8
allowed_batch_sizes：32
allowed_batch_sizes：128
allowed_batch_sizes：256
allowed_batch_sizes：512
allowed_batch_sizes：1024