直接调用Pubsub与Stackdriver的速度/成本

时间:2017-04-18 21:05:14

标签: amazon-web-services google-cloud-pubsub stackdriver

总结我们当前的设置:我们有一个AWS服务器场,它将大量文本行记录到本地旋转日志文件,每个服务器上的进程查找旋转出的日志并将它们上传到Glacier,我们从然后下载它们以便处理成数据库。

我们的计划是将服务器移至GCP,服务器将此数据提供给Dataflow,然后将其过滤到Bigquery。

问题是,我们是否应该将数据流式传输到数据流中,或者将其与当前流程类似地进行批处理。

据我所知,如果我们流式传输,选项是:

1)我们的服务器使用Stackdriver Logging快速编写消息,我们将Stackdriver配置为写入Pubsub,并从中流式传输。由于我们的服务器目前是AWS,因此需要使用Stackdriver Premium,并且可能会产生成本。

2)我们的服务器直接使用Pubsub。

关于流媒体的问题是:

1)据我所知,Stackdriver Logging还没有记录成本,只是针对每台正在使用的正在运行的机器。那是对的吗?我们真的不想保留Stackdriver中的日志,只是尽快将它们发送到Pubsub。

2)直接使用Pubsub(Python客户端)似乎相对较慢 - 比如,将一条消息发布到主题的半秒钟。但是,批量发布到一个主题要快得多,看起来我们可以让我们的服务器做到这一点没有太多麻烦。是否建议直接使用Pubsub,或者它是否优先/有利于任何理由通过Stackdriver Logging?

0 个答案:

没有答案
相关问题