Question

有没有办法ssh到不同的服务器并使用Airbnb的Airflow运行BashOperator？我正在尝试使用Airflow运行hive sql命令，但我需要SSH到另一个盒子才能运行hive shell。我的任务应该是这样的：

SSH到server1
启动Hive shell
运行Hive命令

谢谢！

Answer 1

我认为我只是想出来了：

在Admin＆gt;下的UI中创建SSH连接;连接。注意：如果重置数据库，将删除连接

在Python文件中添加以下内容

from airflow.contrib.hooks import SSHHook
sshHook = SSHHook(conn_id=<YOUR CONNECTION ID FROM THE UI>)

添加SSH操作员任务

t1 = SSHExecuteOperator(
    task_id="task1",
    bash_command=<YOUR COMMAND>,
    ssh_hook=sshHook,
    dag=dag)

谢谢！

Answer 2

Anton的答案要注意的一件事是，该参数实际上是ssh_conn_id，而不是conn_id对象的SSHOperator。至少在1.10版中。

一个简单的例子如下

from datetime import timedelta, datetime
import airflow
from airflow import DAG
from airflow.contrib.operators.ssh_operator import SSHOperator
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'start_date': datetime.now() - timedelta(minutes=20),
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
}
dag = DAG(dag_id='testing_stuff',
          default_args=default_args,
          schedule_interval='0,10,20,30,40,50 * * * *',
          dagrun_timeout=timedelta(seconds=120))
# Step 1 - Dump data from postgres databases
t1_bash = """
echo 'Hello World'
"""
t1 = SSHOperator(
    ssh_conn_id='ssh_default',
    task_id='test_ssh_operator',
    command=t1_bash,
    dag=dag)

Answer 3

这是一个在 Airflow 2 中使用 ssh 操作符的工作示例：

[注意：此运算符的输出是 base64 编码的]

from airflow.providers.ssh.operators.ssh import SSHOperator
from airflow.providers.ssh.hooks.ssh import SSHHook
sshHook = SSHHook(ssh_conn_id="conn-id", key_file='/opt/airflow/keys/ssh.key')
# a hook can also be defined directly in the code:
# sshHook = SSHHook(remote_host='server.com', username='admin', key_file='/opt/airflow/keys/ssh.key')

ls = SSHOperator(
        task_id="ls",
        command= "ls -l",
        ssh_hook = sshHook,
        dag = dag)

conn-id 是在 Admin -> Connections 中设置的。 key_file 是 ssh 私钥。

Airflow：如何从其他服务器SSH和运行BashOperator

3 个答案: