Question

我正在尝试使用spark结构化流媒体（spark v2.2.0）来消耗来自kafka的json数据。但是我遇到了以下错误。

pyspark.sql.utils.StreamingQueryException：'缺少必需的配置“partition.assignment.strategy”没有默认值值。

有谁知道为什么？该作业是使用下面的spark-submit提交的。

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0 sparksstream.py

这是整个python脚本。

from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *

spark = SparkSession \
    .builder \
    .appName("test") \
    .getOrCreate()

# Define schema of json
schema = StructType() \
        .add("Session-Id", StringType()) \
        .add("TransactionTimestamp", IntegerType()) \
        .add("User-Name", StringType()) \
        .add("ID", StringType()) \
        .add("Timestamp", IntegerType())

# load data into spark-structured streaming
df = spark \
      .readStream \
      .format("kafka") \
      .option("kafka.bootstrap.servers", "xxxx:9092") \
      .option("subscribe", "topicName") \
      .load() \
      .select(from_json(col("value").cast("string"), schema).alias("parsed_value"))

# Print output
query = df.writeStream \
            .outputMode("append") \
            .format("console") \
            .start()

Answer 1

改为使用它来提交：

spark-submit \
--conf "spark.driver.extraClassPath=$SPARK_HOME/jars/kafka-clients-1.1.0.jar"  \
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0 \
sparksstream.py

假设您已将$ kapka_home / jars文件夹中的kafka-clients * jar下载到

kafka到pyspark结构化流，将json解析为数据帧

1 个答案: