BigQuery表的架构与配方不匹配

Question

我目前正在处理从bigquery到Tableau的BI堆栈。我正在尝试使用Dataprep删除不必要的列，并在bigquery中加入表以创建“主”表，然后将其馈入Tableau。 bigquery中的表大约每8小时更新一次，而我正尝试在dataprep中为主表创建类似的时间表。

运行作业，甚至尝试从连接的表中取样，都会不断产生此错误。

java.lang.IllegalStateException: The schema of the BigQuery table does not match the recipe.

不确定如何解决此问题。我比较了错误中的两列（预期列与实际列），发现它期望再增加一列。为什么会这样？

为了进行比较，我有一个与相同数据并行运行的postgres db，并且能够进行相同的联接而没有问题。

Also, here is how the overall flow looks in dataprep.

感谢您的帮助。

谢谢

艺术

Answer 1

有时数据源可能会更改列（添加或删除列）。重新导入数据可以解决此问题。

Answer 2

Dataprep使用TRY来帮助您的ML算法，但大多数情况下会自动解释类型，并且在您执行新配方时，列的类型会更改。因此，您最后要做的是“更改类型”，以确保dataprep列与BigQuery列具有相同的类型。