尝试在数据块上运行气流，但出现错误

Question

我正在尝试对数据块使用气流。

我从https://pypi.org/project/apache-airflow/安装了apache-airflow 1.10.6。

我在databricks上使用python3.6。

但是，我遇到了错误：

 import airflow

  ModuleNotFoundError: No module named 'werkzeug.wrappers.json'; 'werkzeug.wrappers' is not a package

我尝试了以下方法：     Apache Airflow : airflow initdb results in "ImportError: No module named json"

Apache Airflow : airflow initdb throws ModuleNotFoundError: No module named 'werkzeug.wrappers.json'; 'werkzeug.wrappers' is not a package error

但是，我仍然遇到同样的问题。

谢谢

Answer 1

注意：默认情况下，数据块上未安装“ Airflow”及其依赖项。

您需要显式安装软件包。

依赖性安装：使用Databricks库实用程序。

dbutils.library.installPyPI("Werkzeug")

您可以使用不同的方法安装软件包。

方法1：：使用pip cmdlet安装外部软件包。

语法： %sh /databricks/python3/bin/pip install <packagename>

%sh
/databricks/python3/bin/pip install apache-airflow

方法2：使用Databricks library utilities

语法：

dbutils.library.installPyPI("pypipackage", version="version", repo="repo", extras="extras")
dbutils.library.restartPython()  # Removes Python state, but some libraries might not work without calling this function

要使用databricks库实用程序安装apache-airflow，请使用以下命令。

dbutils.library.installPyPI("apache-airflow") 

方法3： GUI方法

转到集群 => 选择集群 => 库 => 安装新 => 库源“ PyPI ” =>软件包“ apache-airflow ” => 安装

希望这会有所帮助。如果您还有其他疑问，请告诉我们。

---

请在有助于您的帖子上单击“标记为答案”，然后点击“赞”，这可能会对其他社区成员有所帮助。