我正在使用CloverETL Designer进行ETL操作，我想将一些csv文件从GCS加载到我的Clover图形中。我使用FlatFileReader并尝试使用远程文件URL获取文件，但它无法正常工作。有人可以在这里详细说明整个过程吗？
GCS中的文件路径是
https://storage.cloud.google.com/PATH/Write_to_a_file.csv
我需要将此csv文件放入CloverETL Designer中的FlatFileReader
答案 0 :(得分：1)
您应该使用Google Cloud Storage API获取文件; Clover的HTTPConnector组件允许您传入适当的参数以发出GET请求（您可能必须首先进行OAuth2身份验证以获取令牌），并将输出发送到“输出”中指定的本地目标文件网址。“然后，您可以使用FlatFileReader从该本地文件中读取。
答案 1 :(得分：0)
GCS有几种不同的方式从您的存储桶下载文件。您可以使用控制台和云存储浏览器。步骤：打开存储浏览器，导航到要下载的对象，右键单击，然后保存到所选的本地文件夹。如果您使用Chrome，则保存会显示为“将链接另存为...”。
要使用GS Utility，请使用以下命令：
`gsutil cp gs://[BucketName]/[ObjectName] [ObjectDestination]`.
或者您可以使用客户端库或REST API来下载文件。使用这些最后的选项，您可以使用许多文件或创建作业来下载它们。一旦他们在Clover ETL已知的位置，这个过程就很简单。
在Clover设计器中，在导航窗格下，您可以右键单击文件夹并选择导入。选择放置GCS文件的那个。导入文件后，您可以像使用Clover中的任何其他数据文件一样使用它中的数据。由于这是.csv文件，请记住编辑元数据（右键单击组件，选择提取元数据，然后在元数据编辑器中编辑 - 用于数据类型，标签等。）将元数据分配给组件的边缘，以便他们知道什么进入/走出那一步。根据您的文件，此过程可能会重复多次。
即使使用ETL工具，正确获取数据和数据类型也很棘手。如果您对如何在ETL项目中配置数据类型或边缘有疑问，那么维基可能会有所帮助。网络additional resources可以帮助您获得您正在寻找的最终分析。