我正在使用执行以下代码的PythonOperator从作曲家dag运行jupyter笔记本
def run_notebook_proc(notebook,**kwargs):
notebook_full_path = '/home/airflow/gcs/data/' + notebook + '.ipynb'
with open(notebook_full_path) as f:
nb = nbformat.read(f, as_version=4)
ep = ExecutePreprocessor(kernel_name='Python2')
ep.preprocess(nb,{})
笔记本计算机执行正常,但是使用logging.info("message")
在笔记本计算机中完成的日志打印不会在气流日志或堆栈驱动器中看到。
我在一些参考资料中看到,使用以下命令将输出打印到另一个笔记本或html文件中
with open(notebook, 'wt') as f:
nbformat.write(nb, f)
但是我对笔记本的输出不感兴趣,只需要在气流日志中查看日志打印即可。