如何使用字符串模式定义从DataFlow中使用必填字段创建BigQuery表？

Question

我正在将DataFlow的WriteToBigQuery与CREATE_IF_NEEDED一起使用，因此必须指定架构。

我在代码的开头（在实际管道之外）定义了架构，但是由于我需要标记--save_main_session，所以我得到与here相同的错误，这说明该架构无法由于BigQuery架构定义不可腌制，因此必须与管道一起传递。

页面上提到的解决方案不是我的选择（禁用--save_main_session标志），因此other option通过字符串指定架构。 但是，我需要将某些字段设置为REQUIRED。有没有办法使用字符串模式定义来做到这一点？

Answer 1

从bigquery.py中可以看到，从字符串模式到TableSchema的转换非常简单，并且确实将模式设置为NULLABLE。也许您可以基于此代码段创建具有REQUIRED字段的TableSchema。