在显示警告“您的输入数据已用完;中断训练”之后,Keras Model继续弯腰训练过程。

时间:2020-08-01 19:05:47

标签: tensorflow machine-learning keras

我正在尝试使用fit_generator()函数提供我的Keras模型,其中我已经实现了next_train()和next_val()方法以将批次返回到我的模型。我已经测试了这些函数,以确保它们正确返回了数据,尽管在运行模型时,它始终向我显示此警告“ 警告:tensorflow:您的输入数据已用完;中断了训练。请确保您的数据集或生成器至少可以生成df = spark.createDataFrame( [((["Person", "Company", "Person", "Person"], ["John", "Company1", "Jenny", "Jessica"]))], ["Type", "Value"]) from pyspark.sql.functions import * df.withColumn("az",explode(arrays_zip(col("Type"),col("Value")))).select("az.*").show() #+-------+--------+ #| Type| Value| #+-------+--------+ #| Person| John| #|Company|Company1| #| Person| Jenny| #| Person| Jessica| #+-------+--------+ #using spark sql df.createOrReplaceTempView("tmp") sql("select col.* from (select explode(arrays_zip(Type,Value)) from tmp)q").show() #+-------+--------+ #| Type| Value| #+-------+--------+ #| Person| John| #|Company|Company1| #| Person| Jenny| #| Person| Jessica| #+-------+--------+ 个批次(在这种情况下为812个批次)。在构建数据集时,您可能需要使用repeat()函数。” ,这会停止训练过程。我只在健身生成器函数中使用一个工作程序,并且想知道如果我的CPU比我的GPU慢,是否会出现这样的问题?有人遇到过这个问题吗?

0 个答案:

没有答案