Question

我正在尝试读取eventhub数据（AVRO）格式。我在将数据加载到数据块的数据框中时遇到问题。

这是我正在使用的代码。请让我知道我做错了什么

path='/mnt/datastore/origin/zone=raw/subject=customer_events/source=EventHub/ver=1.0/*.avro'

df = spark.read.format("com.databricks.spark.avro") \
    .load(path)

错误

IllegalArgumentException: 'java.net.URISyntaxException: Relative path in absolute URI:

我确实尝试使用一些代码来消除错误，但是我遇到了语法错误

import org.apache.spark.sql.SparkSession
SparkSession spark = SparkSession
                     .builder()
                   .config("spark.sql.warehouse.dir","/mnt/datastore/origin/zone=raw/subject=customer_events/source=EventHub/ver=1.0/")
                   .getOrCreate()



SyntaxError: invalid syntax
File "<command-265213674761208>", line 2
SparkSession spark = SparkSession

Answer 1

绝对URI中的相对路径

您需要指定协议，而不要使用/mnt

例如，wasb://some/path/如果从Azure blobstore中读取

您还可以排除*.avro，因为Avro阅读器应该已经拾取了路径中的所有Avro文件

https://docs.databricks.com/data/data-sources/read-avro.html#python-api

如果您想从EventHub中读取内容，它将公开一个Kafka API，而不是文件路径AFAIK

从Databricks中的Azure Datalake读取AVRO

1 个答案: