Bash脚本将日志插入BigQuery表

Question

我正在使用Matillion作为我的etl工具，并且试图公开包/作业的日志文件并将其转储到BigQuery表中。我希望使用Bash脚本组件来帮助我实现这一目标。

因此，使用类似以下的内容来实现我自己的登录

echo “$(date) Starting” >> /tmp/logfile.log

我想将此插入表$ {tablename}

谢谢

Answer 1

您可以在Bash脚本中将tmp文件复制/移动到GCS，并在作业结束时使用GCS Load。

Answer 2

我认为Matillion中的BigQuery组件可能会为您提供帮助。 在您进入Matillion和GCP之间的握手之前，需要进行一些配置（我假设您正在将Matillion用于雪花或Redshift）Here is the configuration part