Google Cloud Data Fusion-Dataproc设置突然停止，没有任何错误消息

Question

我设计了一个简单的管道，用于从Cloud Storage中读取CSV文件并写入BigQuery表。在运行管道时，操作突然停止，日志中没有任何错误消息。已经需要防火墙规则。请提出解决方法。

Answer 1

我的猜测是这可能与配额问题相关的dataproc集群。当管道在云数据融合中运行时，默认配置文件将启动x个工作节点数的dataproc集群。有时默认为10。这可能是导致此故障的原因，但需要更多信息以确认是否是这种情况。

@Safiyur几个问题，

1. 您能告诉我这个实例何时旋转吗？
2. 要进行验证，可以在运行管道之前将概要文件自定义为具有3个工作程序节点。这是为了确保这甚至是导致失败的原因（配置->计算配置->自定义）
3. 您还可以检查主服务日志以查看（Cloud Data Fusion-> System Admin）是否存在与运行管道有关的任何错误吗？
4. 还可以提供您添加的防火墙规则吗？ （是否基于文档

注意：

  

在运行管道时，操作突然停止，没有任何提示   错误消息。

由此，我假设它是您正在谈论的管道日志。