Question

我正在使用python编写一个spark作业。但是，我需要阅读一大堆avro文件。

This是我在Spark的示例文件夹中找到的最接近的解决方案。但是，您需要使用spark-submit提交此python脚本。在spark-submit的命令行中，您可以指定驱动程序类，在这种情况下，将定位您的所有avrokey，avrovalue类。

avro_rdd = sc.newAPIHadoopFile(
        path,
        "org.apache.avro.mapreduce.AvroKeyInputFormat",
        "org.apache.avro.mapred.AvroKey",
        "org.apache.hadoop.io.NullWritable",
        keyConverter="org.apache.spark.examples.pythonconverters.AvroWrapperToJavaConverter",
        conf=conf)

在我的情况下，我需要在Python脚本中运行所有内容，我已经尝试创建一个环境变量来包含jar文件，手指交叉Python会将jar添加到路径但是很明显它不是，它给出了我出乎意料的课错误。

os.environ['SPARK_SUBMIT_CLASSPATH'] = "/opt/cloudera/parcels/CDH-5.1.0-1.cdh5.1.0.p0.53/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar"

任何人都可以帮助我如何在一个python脚本中读取avro文件？

Answer 1

Spark＆gt; = 2.4.0

您可以使用built-in Avro support。该API向后兼容spark-avro包，并添加了一些内容（最值得注意的是from_avro / to_avro功能）。

请注意，模块未与标准Spark二进制文件捆绑在一起，必须使用spark.jars.packages或等效机制进行包含。

Spark＆lt; 2.4.0

您可以使用spark-avro库。首先，我们创建一个示例数据集：

import avro.schema from avro.datafile import DataFileReader, DataFileWriter schema_string ='''{"namespace": "example.avro", "type": "record", "name": "KeyValue", "fields": [ {"name": "key", "type": "string"}, {"name": "value", "type": ["int", "null"]} ] }''' schema = avro.schema.parse(schema_string) with open("kv.avro", "w") as f, DataFileWriter(f, DatumWriter(), schema) as wrt: wrt.append({"key": "foo", "value": -1}) wrt.append({"key": "bar", "value": 1})

使用spark-csv阅读它就像这样简单：

df = sqlContext.read.format("com.databricks.spark.avro").load("kv.avro") df.show() ## +---+-----+ ## |key|value| ## +---+-----+ ## |foo| -1| ## |bar| 1| ## +---+-----+

Answer 2

前一种解决方案需要安装第三方Java依赖项，这不是大多数Python开发人员所满意的。但是如果你想要做的就是用给定的模式解析你的Avro文件，你真的不需要外部库。您可以阅读二进制文件并使用您最喜欢的python Avro包进行解析。

例如，您可以使用fastavro加载Avro文件：

from io import BytesIO
import fastavro

schema = {
    ...
}

rdd = sc.binaryFiles("/path/to/dataset/*.avro")\
    .flatMap(lambda args: fastavro.reader(BytesIO(args[1]), reader_schema=schema))

print(rdd.collect())

Answer 3

对于Spark <2.4.0，PySpark可以通过使用JAR“ com.databricks.spark.avro”和python的“子进程”读取avro文件及其相应的模式（.avsc）而无需任何外部python模块来创建数据帧“模块

下面是解决方法：

avsc_location = hdfs://user/test/test.avsc
avro_location = hdfs://user/test/test.avro

#use subprocess module
import subproccess as SP

load_avsc_file = SP.Popen(["hdfs", "dfs", "-cat", avsc_location], stdout=SP.PIPE, stderr=SP.PIPE)
(avsc_file_output, avsc_file_error) = load_avsc_file.communicate()

avro_df = spark.read.format("com.databricks.spark.avro").option("avroSchema", avsc_file_output).load(avro_location)

如何在PySpark中阅读Avro文件

3 个答案: