我写这段代码:
from airflow import DAG
from airflow.hooks.clickhouse_hook import ClickHouseHook
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
from datetime import datetime
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2020, 10, 18)
}
def _data_from_clickhouse():
ch_hook = ClickHouseHook(clickhouse_conn_id='ClickHouse_rnd_conn')
ch_hook.get_records('select * from cpa_traffic_costs')
with DAG(dag_id='data_to_clickhouse',
default_args=default_args) as dag:
get_data_from_clickhouse = PythonOperator(
task_id='get_data_from_clickhouse',
python_callable=_data_from_clickhouse,
)
get_data_from_clickhouse
但是在Web UI中启动此dag时出现错误
clickhouse_driver.errors.SocketTimeoutError: Code: 209. (85.***.***.***:8123)
此错误仅在气流减慢中发生。 我通过气流的Web UI设置了连接“ ClickHouse_rnd_conn”。也许问题是气流没有连接类型“ clickhouse”,而我使用了“ HTTP”类型
答案 0 :(得分:1)
您可能使用了错误的端口,请参阅this github issue:
此驱动程序使用本机协议(端口9000)。端口8123用于HTTP协议。
答案 1 :(得分:0)
clickhouse_driver.errors.SocketTimeoutError:代码:209。(85. 。 。***:8123)
您的Web UI主机没有访问85. 。 。***:8123的权限? 防火墙位于CH服务器和Web UI主机之间。