Question

我正在尝试从谷歌数据流应用程序连接到cassandra。我们的Cassandra戒指也在谷歌云上。当我们必须通过数据流上的spark连接到Cassandra时，我们通过传递“--tags cassandra”来创建集群，它允许在dataproc上运行的应用程序连接到cassandra。有没有办法在数据流上设置标签？

Answer 1

你会考虑尝试一下，请设置一个像这样的防火墙规则：

Network: <your cassandra network>
Source Filter: "Instance tags"
Source Tags: "dataflow"
Allowed protocols and ports: <port you use to connect to cassandra>
Target Tags: "cassandra"

默认情况下，数据流服务启动的所有GCE VM都应标记为“dataflow”（您是否看到没有标记的实例？）。所以我怀疑这将允许从所有Dataflow实例到您的Cassandra实例的流量。

希望这适合你

Answer 2

到目前为止，直到Apache Beam版本2.19.0。数据流中没有为虚拟机设置网络标签的规定。相反，在创建防火墙规则时，我们应该为数据流添加标签。并且必须将标签名称命名为数据流。其他任何标签均无效。 https://cloud.google.com/dataflow/docs/guides/routes-firewall

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
    --network NETWORK \
    --action allow \
    --direction DIRECTION \
    --target-tags dataflow \
    --source-tags dataflow \
    --priority 0 \
    --rules tcp:12345-12346

如何将防火墙规则/网络标记设置为Google数据流管道

2 个答案: