DynamicFileListRecordReader无限期等待

时间:2016-01-16 20:15:55

标签: hadoop google-bigquery google-cloud-storage

我正在使用Google BigQuery Hadoop连接器并遇到问题。 DynamicFileListRecordReader期望0记录文件出现在存储区路径中,但看起来它不是自动创建的,因此读者进入无限循环。 根据这个 https://cloud.google.com/bigquery/exporting-data-from-bigquery 仅当使用通配符URL时才会创建此0记录文件。但根据hadoop日志,使用没有通配符的单一网址,并且等待是不必要的

我的haddop作业配置是

BigQueryConfiguration.configureBigQueryInput(conf, "publicdata:samples.shakespeare");
    conf.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem");
    // tempoary path where to download data from BiqQuery tables
    conf.set(BigQueryConfiguration.TEMP_GCS_PATH_KEY, "gs://mybucket/mypath");
    conf.set(BigQueryConfiguration.PROJECT_ID_KEY, "myprojid");
    conf.set(GoogleHadoopFileSystemBase.GCS_PROJECT_ID_KEY, "myprojid");

0 个答案:

没有答案