芝加哥出租车示例中的_tfx_root
指的是什么,为什么需要它?
元数据结束管道最终以〜/ tfx结尾,但是没有tfx git存储库的本地副本,它不在Airflow中(本地)运行。
在手动将管道Python文件复制到airflow initdb
目录之后,运行$AIRFLOW_HOME/dags/blabla
时将创建元数据目录。不过,能够配置~/tfx
的位置会很好。有什么想法吗?
答案 0 :(得分:1)
code:- _tfx_root = os.path.join(os.environ['HOME'], 'tfx');
它用于定义名为'tfx'的目录的相对路径,该目录是在已登录用户的主目录(如果不存在)中创建的。其中HOME是环境变量。
code:- _pipeline_root = os.path.join(_tfx_root, 'pipelines');
使用相对路径在 tfx_root 路径中创建/附加子目录“管道” 。
code:- _metadata_db_root = os.path.join(_tfx_root, 'metadata');
使用相对路径在 tfx_root 路径中创建/附加子目录“元数据” 。
code:- _log_root = os.path.join(_tfx_root, 'logs');
使用相对路径在 tfx_root 路径中创建/附加子目录“日志” 。
答案 1 :(得分:0)
它是数据目录的路径。此变量仅用于构建管道,元数据和根目录的路径。
_tfx_root = os.path.join(os.environ['HOME'], 'tfx'); // Create location ~/tfx
_pipeline_root = os.path.join(_tfx_root, 'pipelines'); // Join ~/tfx/pipelines/
_metadata_db_root = os.path.join(_tfx_root, 'metadata'); // Join ~/tfx/metadata/
_log_root = os.path.join(_tfx_root, 'logs'); // Join ~/tfx/logs/
只需修改_tfx_root
即可更改~/tfx
的位置。如果您希望位置为C:/temp/tfx
。以这个为例。
_tfx_root = 'C:/temp/tfx/';