我有一个基于静态批次火车数据集的随机森林分类模型。
模型在测试集上运行,预测两者均为0,1。
如果我通过以下方式检查模型:
Model1.toDebugString
根据输入,返回两个预测均为0,1的if / else逻辑。
当我使用完全相同的静态数据集(用于训练模型)创建人工流时。
val dfStream = spark.readStream.format("parquet").schema(Schema).option("maxFilesPerTrigger","1").parquet("static data")
然后我使用模型进行预测。
该模型仅输出0个预测。没有1。
我还尝试了从Kafka消费者那里获取的实时流中的模型。具有相同的结果。只有0。