我尝试使用以下网址提供的GCP模板执行管道: https://cloud.google.com/dataflow/docs/templates/provided-templates#cloud-storage-text-to-bigquery
但我收到了错误:
IllegalArgumentException
任何人都可以共享一个可用的CSV文件作为运行该管道的输入吗?
答案 0 :(得分:3)
问题出在主席和键盘之间,您只需要根据JSON文件中定义的数据结构创建一个CSV文件,然后由JS文件进行转换。
答案 1 :(得分:0)
我看到已经回答了这个问题,但是我遇到了类似的问题,这个回答对我来说是部分的-事实证明,模板中的路径模式(至少目前是这样)不支持某些类型的模式。 例如,对于给定GCS路径中跨多个子目录的多个CSV文件(这是我的用例):
gs:// bucket-name / dir /
将起作用的模式是:
gs://bucket-name/dir/*/*.csv
尽管这些模式通过gsutil ls有效并返回了正确的文件,但这些模式在模板中不起作用:
gs:// bucket-name / dir / *
gs://bucket-name/dir/*.csv