BigQuery加载批处理文件夹错误

时间:2014-09-19 10:32:18

标签: google-bigquery

我正在尝试一次加载一组文件夹文件 我设置 sourceURI ='gs:// ybbi / bi_landing_zone / files_to_load / app / reports / app_network_analytics_report / 201409011 *'

我要加载的所有文件夹都以20140911

开头

但我得到错误:

错误:路径无效:gs:// ybbi / bi_landing_zone / files_to_load / apn / reports / appnexus_network_analytics_report / 20140901191111_3bab8ec0_092a_43de_a157_db35d1555ea0 /

20140901191111_3bab8ec0_092a_43de_a157_db35d1555ea0是其中一个文件夹(不知道为什么打印此特定文件夹的所有文件夹名称)

在其他一些文件夹树案例中,它可以正常工作,但在这个特定的文件夹树中,它会返回相同的错误。

我知道云存储没有真正的文件夹,它是对象名称的一部分,但你理解我的意思。

是bug吗?

1 个答案:

答案 0 :(得分:0)

没有更多信息,它看起来像是一个名为gs://ybbi/bi_landing_zone/files_to_load/apn/reports/appnexus_network_analytics_report/20140901191111_3bab8ec0_092a_43de_a157_db35d1555ea0/的目标文件,它不是csv / json文件。有些工具可能会创建这些虚拟文件以模拟目录。 BigQuery要求与输入glob路径匹配的所有对象都是可导入文件。

一种解决方案是更改glob路径以包含更窄的文件集。如果这样可以更容易,您可以传递多个路径。例如,你可以通过 gs://ybbi/bi_landing_zone/files_to_load/apn/reports/appnexus_network_analytics_report/20140901191111_3bab8ec0_092a_43de_a157_db35d1555ea0/*gs://ybbi/bi_landing_zone/files_to_load/apn/reports/appnexus_network_analytics_report/20140901191111_some_other_path/*