仅在计划的作业运行时无法推断Parquet的架构

Question

我正在运行一个笔记本，该笔记本通过dbutils.notebooks.run()命令执行其他笔记本。每当我手动运行此作业时，它就会毫无问题地执行。每当工作在夜间运行时，临时笔记本运行都会返回错误

org.apache.spark.sql.AnalysisException：无法推断架构 实木复合地板。必须手动指定。;

其他一些笔记本出现了错误，我可以通过增加集群上的工作程序数量来解决。我也尝试过在此工作流程中做到这一点，但没有任何运气，而且我也找不到任何文档来表明应该如此。

任何见解都会有所帮助。

Answer 1

增加群集池上的工作量可以解决此问题。不确定每次临时运行所需的正确工人数量，似乎每次运行至少需要2名工人，并且必须在运行完成后立即将其返回。