使用pySpark从Azure Databricks中的EventHub消耗事件

Question

我可以看到火花连接器＆amp;在Azure Databricks中使用Scala从Event Hub使用事件的准则。

但是，我们如何使用pySpark从azure databricks中消耗事件中的事件？

任何建议/文档细节都会有所帮助。感谢

Answer 1

以下是从天蓝色数据砖上的pyspark读取事件中心事件的片段。

// With an entity path 
val with = "Endpoint=sb://SAMPLE;SharedAccessKeyName=KEY_NAME;SharedAccessKey=KEY;EntityPath=EVENTHUB_NAME"


# Source with default settings
connectionString = "Valid EventHubs connection string."
ehConf = {
  'eventhubs.connectionString' : connectionString
}

df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehConf) \
  .load()

readInStreamBody = df.withColumn("body", df["body"].cast("string"))
display(readInStreamBody)