如何在Spark Streaming中启用背压（使用pyspark）

Question

我想知道在backpressure到spark streaming中启用pyspark的正确方法是什么。看起来我在很短的时间内从Kafka发送了太多的消息并且爆炸了。以下是我spark streaming的代码。有人能指出我正确的位置来启用back pressure吗？

sc = SparkContext(appName="PythonStreamingDirectKafka")
ssc = StreamingContext(sc, 5)
ssc.checkpoint("/spark_check/")
kvs = KafkaUtils.createDirectStream(ssc, [kafka_topic],
                                    {"metadata.broker.list": bootstrap_servers_ipaddress})
parsed_msg = kvs.map(lambda (key, value): json.loads(value))
## do something below

Answer 1

以下是我在kafka流媒体代码中设置背压的方法。 希望它有所帮助。

switch (voiceToRoute) {
      case “Account”:
         Navigator.push(
        context,
        new MaterialPageRoute(
          builder: (context) => new AccountPage()));
        },
        break;

      case “Balance”:
        Navigator.push(
        context,
        new MaterialPageRoute(
          builder: (context) => new BalancePage()));
        },
        break;
    }