Question

我正在使用PySpark 2.3.1从DStream中读取来自Kafka的值流。我想对该数据进行一些转换，例如移动平均值，然后将其保存到Redis。我的Spark作业代码看起来像这样：

batch_duration = 1

# Initialize session
spark_session = SparkSession \
    .builder \
    .appName("my-app") \
    .getOrCreate()

spark_context = spark_session.sparkContext

# Create streaming context (=connection to Spark)
streaming_context = StreamingContext(spark_context, batch_duration)

# Read from Kafka
input = KafkaUtils \
    .createDirectStream(streaming_context, ['price'], {"metadata.broker.list": kafka_urls})

然后我可以用以下行将其转换：

jsons = input.window(5000).map(lambda t: t[1]).map(json.loads)
prices = jsons.map(lambda d: d['price'])
total = prices.reduce(lambda x, y: x + y)

但是，在这种情况下，total仍然是DStream，而documentation for Redis说只能从PySpark写入数据帧。幸运的是，DStream在运行时会产生定期的RDD-因此我必须弄清楚如何将RDD转换为数据帧。

我尝试过

total.foreachRDD(lambda rdd:
                 rdd.toDF().write.format("org.apache.spark.sql.redis") \
                 .option("table", "people") \
                 .option("key.column", "name") \
                 .save())

诚然，此文件是从网络上的其他地方盲目复制并粘贴的，因此option调用几乎可以肯定与我的数据模式不匹配。我希望破译例外情况并弄清楚下一步该怎么做。不幸的是，在我的Spark集群上运行它会打印很多行Java堆栈跟踪，并在控制台历史记录之外滚动原始的Python异常，所以我不知道是什么引起了问题。

Answer 1

这是一个字计数器示例，可将结果保存到Redis：

import sys

from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
from pyspark.sql import SQLContext

def save_rdd(rdd):
    if not rdd.isEmpty():
        df = rdd.toDF()
        df.show()
        df.write.format("org.apache.spark.sql.redis").option("table", "counts").option("key.column", "_1").save(mode='append')

if __name__ == "__main__":
    spark = SparkSession \
        .builder \
        .appName("Example") \
        .getOrCreate()

    sc = spark.sparkContext
    sc.setLogLevel("ERROR")
    ssc = StreamingContext(sc, 2)

    brokers, topic = sys.argv[1:]
    kvs = KafkaUtils.createDirectStream(ssc, [topic], {"metadata.broker.list": brokers})
    lines = kvs.map(lambda x: x[1])
    counts = lines.flatMap(lambda line: line.split(" ")) \
        .map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b)

    counts.foreachRDD(save_rdd)

    ssc.start()
    ssc.awaitTermination()

提交命令：

./bin/spark-submit --master spark://Oleksiis-MacBook-Pro.local:7077 --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0,com.redislabs:spark-redis:2.4.0 ~/Projects/spark-redis-test/src/main/scala/com/redislabs/provider/test/spark-direct-kafka.py localhost:9092 new_topic

请注意，我包括了com.redislabs:spark-redis:2.4.0包裹。

给new_topic写一些字：

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic new_topic

>a b c a
>a b b

输出在Redis中应显示为散列，其中键对应于输入单词：

./redis-cli

keys counts:*

1) "counts:a"
2) "counts:b"
3) "counts:c"

127.0.0.1:6379> hgetall counts:a
1) "_2"
2) "2"

如果您想使用一些有意义的列名而不是_1，_2等来保存DataFrame，则可以这样重命名列：

from pyspark.sql.functions import col

def save_rdd(rdd):
    if not rdd.isEmpty():
        df = rdd.toDF().select(col("_1").alias("word"), col("_2").alias("count"))
        df.show()
        df.write.format("org.apache.spark.sql.redis").option("table", "counts").option("key.column","word").save(mode='append')

请注意，现在我们将key.coumn参数设置为word。

现在Redis中的字段名称为“ count”：

127.0.0.1:6379> hgetall counts:abc
1) "count"
2) "1"

希望有帮助！

如何从PySpark DStream写入Redis？

1 个答案: