BQ中的转义分隔符

时间:2018-07-19 18:55:10

标签: google-bigquery delimiter

我有大量文件,它们由|分隔,但是它们具有|以及字段中的值。 |数据已经用\进行了转义,但是我不认为BQ会选择它,是否可以在不必打开每个文件并进行更新的情况下解决此问题?有2-3000个文件,并且都压缩了,因此一一完成根本不可行。

1 个答案:

答案 0 :(得分:1)

  1. 将每一行读为整行(CSV,带有奇怪的字符定界符)。
  2. 通过REGEX或JavaScript UDF在BigQuery中进行解析。

我在这里描述了一种类似的方法: