有关Google数据融合的一些问题

Question

我正在发现该工具，但有一些疑问：

-您在（源，接收器）中的文件类型到底是什么意思， -是否还可以将管道的结果直接发送到FTP服务器

我检查了文档，但没有找到此信息

谢谢

Answer 1

简短答案：文件是指管道运行所在的文件系统。在数据融合上下文中，如果您正在使用文件接收器，则内容将被写入Dataproc群集上的HDFS。

Data Fusion具有SFTP put操作，可用于写入SFTP。这是有关如何从GCS写入SFTP的简单管道。

第1步：GCS源到文件接收器-运行管道时，它将GCS的内容写入Dataproc上的HDFS 步骤2：SFTP放置操作，将文件接收器的输出并上传到SFTP。

您需要将File的输出路径配置为与SFTP中的源路径相同