我正在尝试使用fit_generator()函数提供我的Keras模型,其中我已经实现了next_train()和next_val()方法以将批次返回到我的模型。我已经测试了这些函数,以确保它们正确返回了数据,尽管在运行模型时,它始终向我显示此警告“ 警告:tensorflow:您的输入数据已用完;中断了训练。请确保您的数据集或生成器至少可以生成df = spark.createDataFrame(
[((["Person", "Company", "Person", "Person"],
["John", "Company1", "Jenny", "Jessica"]))],
["Type", "Value"])
from pyspark.sql.functions import *
df.withColumn("az",explode(arrays_zip(col("Type"),col("Value")))).select("az.*").show()
#+-------+--------+
#| Type| Value|
#+-------+--------+
#| Person| John|
#|Company|Company1|
#| Person| Jenny|
#| Person| Jessica|
#+-------+--------+
#using spark sql
df.createOrReplaceTempView("tmp")
sql("select col.* from (select explode(arrays_zip(Type,Value)) from tmp)q").show()
#+-------+--------+
#| Type| Value|
#+-------+--------+
#| Person| John|
#|Company|Company1|
#| Person| Jenny|
#| Person| Jessica|
#+-------+--------+
个批次(在这种情况下为812个批次)。在构建数据集时,您可能需要使用repeat()函数。” ,这会停止训练过程。我只在健身生成器函数中使用一个工作程序,并且想知道如果我的CPU比我的GPU慢,是否会出现这样的问题?有人遇到过这个问题吗?