加载操作中的BigQuery错误：叶字段总数过多

Question

我正在将一个大文件上传到BigQuery，因为它太慢了，无法在自己的PC上运行。 bq --location=EU load --field_delimiter='\t' --skip_leading_rows=1 --source_format=CSV single_cells.retinal_bipolar gs://single_cells/retinal-bipolar-neuron-drop-seq/exp_matrix.txt ./schema.json 但是，我遇到了一个错误：

  

加载操作中的BigQuery错误：叶字段总数过多：27500

实际上，数据有27500列； BigQuery不允许这样做吗？

Answer 1

Maximum columns per table的值为10,000，这意味着由于加载作业超出架构中允许的最大字段数而引发了错误消息。

基于此，一个可用的解决方法是将表拆分成较小的表，以减少包含的字段数；这样，您就可以避免此问题。

Answer 2

另一种解决方法-正如Elliott指出的-您可以将文件加载到BigQuery表中，该表是使用仅具有STRING类型的列的架构设置的。然后（假设文件和行的大小不超过size limitations）-您将可以使用BigQuery的所有功能！