来自dataframe的BigQuery表

Question

我想使用Google Datalab笔记本为基因组数据创建一个bigQuery表，并达到列限制。该表是从pandas DataFrame创建的。

# to communicate with Google BigQuery
from pandas.io import gbq
gbq.to_gbq(df_pgp_input, 'pgp_orielresearch.pgp_PIK3CA_all_ml', 'speedy-emissary-167213', chunksize=10000, verbose=True)

  

GenericGBQException：原因：无效，消息：字段太多：12427

Answer 1

如docs所述，Bigquery中总列数的最大限制为10000。

这就是为什么在大多数情况下，如果您使用ARRAYs and STRUCTs排列数据会更好，因为您不会达到这些配额限制。