Question

您可以告诉我如何使用spark new API进行结构化流式传输来阅读水槽流。

示例：

val lines = spark.readStream.format("socket").option("host", "localhost").option("port", 9999).load()

Answer 1

从Spark 2.1开始，Spark仅支持File，Kafka和Socket源。 Socket SOurce用于调试和开发，不应该生产。这留下了File和Kafka的来源。

所以，你唯一的选择是 a）从FLume获取数据并将其转储到S3文件中。 Spark可以从S3文件中获取数据。文件源的工作方式是它监视文件夹，当出现新文件时，它会将其作为微量分片加载 b）将您的活动汇集到Kafka实例中

Answer 2

$("#fm_regis").validate({
  rules :{
    name: {
      required: true,
    },
  },   
  errorLabelContainer: "#id-of-your-specific-place",
  // More of your code
})

带水槽的结构化流媒体

2 个答案: