在BigQuery中使用CSV文件格式读取

时间:2017-05-29 18:59:52

标签: hadoop apache-spark apache-spark-sql

您好我可以使用以下代码在BigQuery中阅读Avro文件。

val fClass = classOf[AvroBigQueryInputFormat]
val kClass = classOf[LongWritable]
val vClass = classOf[GenericData.Record]
val rdd = sc
  .newAPIHadoopRDD(conf, fClass, kClass, vClass)
  .map(_._2)

我的问题是如何阅读类似于Avro的CSV文件。我没有在#34; https://github.com/GoogleCloudPlatform/bigdata-interop/tree/master/bigquery/src/main/java/com/google/cloud/hadoop/io/bigquery"中找到任何CSVFileFormat。

如果您有任何解决方案,请建议。

0 个答案:

没有答案