Question

我必须在Databricks中安装pyodbc模块。我尝试使用此命令（pip install pyodbc），但由于出现以下错误而失败。

Answer 1

右键单击要在其中存储库的Workspace文件夹。

选择创建>库。

查看此https://docs.databricks.com/user-guide/libraries.html以获得详细信息

Answer 2

前一段时间我在使用pyobdc连接时遇到了一些问题，我的修复程序详细信息在这里：https://datathirst.net/blog/2018/10/12/executing-sql-server-stored-procedures-on-databricks-pyspark

我认为问题出在将databricks集群上的PYTHONPATH设置为Python 2安装。

我怀疑这些行：

%sh    
apt-get -y install unixodbc-dev
/databricks/python/bin/pip install pyodbc

将为您工作。

更新：更简单（尽管您仍然需要上面的unixodbc-dev）：

%sh 
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc

Answer 3

我在安装时遇到了同样的问题。这是我尝试过的，并且有效。

Databricks没有默认的ODBC驱动程序。在单个单元格中运行以下命令以安装MS SQL ODBC驱动程序

%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17

在笔记本中运行

dbutils.fs.put("/databricks/init/<YourClusterName>/pyodbc-install.sh","""
#!/bin/bash
sudo apt-get update
sudo apt-get -q -y install unixodbc unixodbc-dev
sudo apt-get -q -y install python3-dev
/databricks/python/bin/pip install pyodbc
""", True)

重新启动集群
用代码导入pyodbc

如何在Databricks中安装PYODBC

3 个答案: