Question

在代码如果不是df.head（1）.isEmpty：我有例外，

Exception has occurred: pyspark.sql.utils.AnalysisException 'Queries with streaming sources must be executed with writeStream.start();;\nkafka'

我不知道如何在流数据中使用。当我使用jupyter来执行每一行时，代码很好，并且可以得到结果。但是使用.py是不好的。

我的想法是这样的：我想使用流传输每秒钟从kafka获取数据，然后将每批蒸汽数据（一批意味着我每秒获得数据）转换为pandas dataframe，然后使用pandas函数对数据进行处理，最后将结果发送到其他kafka主题。

请帮助我，请原谅我的英文池，非常感谢。

sc = SparkContext("local[2]", "OdometryConsumer")
spark = SparkSession(sparkContext=sc) \
    .builder \
    .appName("StructuredNetworkWordCount") \
    .getOrCreate()

# Enable Arrow-based columnar data transfers
spark.conf.set("spark.sql.execution.arrow.enabled", "true")


df = spark \
  .readStream \
  .format("kafka") \
  .option("kafka.bootstrap.servers", "localhost:9092") \
  .option("subscribe", "data") \
  .load()
ds = df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
print(type(ds))

if not df.head(1).isEmpty:
  alertQuery = ds \
          .writeStream \
          .queryName("qalerts")\
          .format("memory")\
          .start()

  alerts = spark.sql("select * from qalerts")
  pdAlerts = alerts.toPandas()
  a = pdAlerts['value'].tolist()

  d = []
  for i in a:
      x = json.loads(i)
      d.append(x)

  df = pd.DataFrame(d)
  print(df)
  ds = df['jobID'].unique().tolist()


  dics = {}
  for source in ds:
      ids = df.loc[df['jobID'] == source, 'id'].tolist()
      dics[source]=ids

  print(dics)  
query = ds \
  .writeStream \
  .queryName("tableName") \
  .format("console") \
  .start()

query.awaitTermination()

Answer 1

删除if not df.head(1).isEmpty:，就可以了。

发生异常的原因很简单，即流查询是一种永无止境的且连续执行的结构化查询。由于没有“单个元素”，因此根本无法查看单个元素，但是（可能）有数千个元素，很难说出您什么时候想真正看一下并只看一眼。单个元素。

发生了异常：pyspark.sql.utils.AnalysisException'带有流源的查询必须使用writeStream.start（）;; \ nkafka'

1 个答案: