使用GCP模板将Big Storage文本存储到BigQuery

时间:2018-03-30 13:43:35

标签: google-cloud-platform google-cloud-dataflow

我尝试使用以下网址提供的GCP模板执行管道: https://cloud.google.com/dataflow/docs/templates/provided-templates#cloud-storage-text-to-bigquery

但我收到了错误:

IllegalArgumentException

任何人都可以共享一个可用的CSV文件作为运行该管道的输入吗?

2 个答案:

答案 0 :(得分:3)

问题出在主席和键盘之间,您只需要根据JSON文件中定义的数据结构创建一个CSV文件,然后由JS文件进行转换。

答案 1 :(得分:0)

我看到已经回答了这个问题,但是我遇到了类似的问题,这个回答对我来说是部分的-事实证明,模板中的路径模式(至少目前是这样)不支持某些类型的模式。 例如,对于给定GCS路径中跨多个子目录的多个CSV文件(这是我的用例):

gs:// bucket-name / dir /

将起作用的模式是:

gs://bucket-name/dir/*/*.csv

尽管这些模式通过gsutil ls有效并返回了正确的文件,但这些模式在模板中不起作用:

gs:// bucket-name / dir / *

gs://bucket-name/dir/*.csv