我已经将一个avro文件读入spark RDD并需要将其转换为sql数据帧。我该怎么做。
这是我到目前为止所做的。
import org.apache.avro.generic.GenericRecord
import org.apache.avro.mapred.{AvroInputFormat, AvroWrapper}
import org.apache.hadoop.io.NullWritable
val path = "hdfs://dds-nameservice/user/ghagh/"
val avroRDD = sc.hadoopFile[AvroWrapper[GenericRecord], NullWritable, AvroInputFormat[GenericRecord]](path)
当我这样做时:
avro.take(1)
我回来了
res1: Array[(org.apache.avro.mapred.AvroWrapper[org.apache.avro.generic.GenericRecord], org.apache.hadoop.io.NullWritable)] = Array(({"column1": "value1", "column2": "value2", "column3": value3,...
如何将其转换为SparkSQL数据帧?
我正在使用Spark 1.6
有人可以告诉我是否有一个简单的解决方案吗?
答案 0 :(得分:4)
对于DataFrame
,我选择Avro data source directly:
在包列表中包含spark-avro。对于最新版本使用:
com.databricks:spark-avro_2.11:3.2.0
加载文件:
val df = spark.read
.format("com.databricks.spark.avro")
.load(path)
答案 1 :(得分:0)
如果您的项目是maven,则在pom.xml中添加以下最新依赖项
<dependency>
<groupId>com.databricks</groupId>
<artifactId>spark-avro_2.11</artifactId>
<version>4.0.0</version>
</dependency>
之后,您可以读取如下的avro
文件
val df=spark.read.format("com.databricks.spark.avro").option("header","true").load("C:\\Users\\alice\\inputs\\sample_data.avro")