无法读取Azure Jupyter Notebook（Python 2和3）中的“ .parquet”文件

Question

我目前正在尝试使用Azure Jupyter笔记本打开镶木地板文件。我已经尝试了两个Python内核（2和3）。 安装 pyarrow 后，我只能在Python内核为2的情况下导入模块（不适用于Python 3）

这是我到目前为止所做的事情（为清楚起见，我没有提及我的所有尝试，例如使用 conda 代替 pip ，因为它也是失败）：

!pip install --upgrade pip
!pip install -I Cython==0.28.5
!pip install pyarrow

import pandas  
import pyarrow
import pyarrow.parquet

#so far, so good

filePath_parquet = "foo.parquet"
table_parquet_raw = pandas.read_parquet(filePath_parquet, engine='pyarrow')

如果我离线进行此操作（使用Spyder，Python v.3.7.0），则效果很好。但是使用Azure笔记本失败。

 AttributeErrorTraceback (most recent call last)
<ipython-input-54-2739da3f2d20> in <module>()
      6 
      7 #table_parquet_raw = pd.read_parquet(filePath_parquet, engine='pyarrow')
----> 8 table_parquet_raw = pandas.read_parquet(filePath_parquet, engine='pyarrow')

AttributeError: 'module' object has no attribute 'read_parquet'

有什么想法吗？

提前谢谢！

编辑：

非常感谢Peter Pan的回复！ 我已经输入了这些语句，这就是我得到的：

1。

    print(pandas.__dict__)

=> read_parquet没有出现

2。

    print(pandas.__file__)

=>我得到：

    /home/nbuser/anaconda3_23/lib/python3.4/site-packages/pandas/__init__.py

1. import sys; print（sys.path）=>我得到：

   ['', '/home/nbuser/anaconda3_23/lib/python34.zip',
   '/home/nbuser/anaconda3_23/lib/python3.4',
   '/home/nbuser/anaconda3_23/lib/python3.4/plat-linux',
   '/home/nbuser/anaconda3_23/lib/python3.4/lib-dynload',
   '/home/nbuser/.local/lib/python3.4/site-packages',
   '/home/nbuser/anaconda3_23/lib/python3.4/site-packages',
   '/home/nbuser/anaconda3_23/lib/python3.4/site-packages/Sphinx-1.3.1-py3.4.egg',
   '/home/nbuser/anaconda3_23/lib/python3.4/site-packages/setuptools-27.2.0-py3.4.egg',
   '/home/nbuser/anaconda3_23/lib/python3.4/site-packages/IPython/extensions',
   '/home/nbuser/.ipython']
   

请问您有什么主意吗？

编辑2：

亲爱的@PeterPan，我同时输入了!conda update conda和!conda update pandas：在检查Pandas版本（pandas.__version__）时，它仍然是0.19.2。

我也尝试过使用!conda update pandas -y -f，它返回： `正在获取包元数据........... 解决包装规格：。

在/ home / nbuser / anaconda3_23环境中安装的包装计划：

将安装以下新软件包：

pandas: 0.19.2-np111py34_1`

键入时： !pip install --upgrade pandas

我得到：

Requirement already up-to-date: pandas in /home/nbuser/anaconda3_23/lib/python3.4/site-packages Requirement already up-to-date: pytz>=2011k in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: numpy>=1.9.0 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: python-dateutil>=2 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from pandas) Requirement already up-to-date: six>=1.5 in /home/nbuser/anaconda3_23/lib/python3.4/site-packages (from python-dateutil>=2->pandas)

最后，输入时：

!pip install --upgrade pandas==0.24.0

我得到：

Collecting pandas==0.24.0 Could not find a version that satisfies the requirement pandas==0.24.0 (from versions: 0.1, 0.2b0, 0.2b1, 0.2, 0.3.0b0, 0.3.0b2, 0.3.0, 0.4.0, 0.4.1, 0.4.2, 0.4.3, 0.5.0, 0.6.0, 0.6.1, 0.7.0rc1, 0.7.0, 0.7.1, 0.7.2, 0.7.3, 0.8.0rc1, 0.8.0rc2, 0.8.0, 0.8.1, 0.9.0, 0.9.1, 0.10.0, 0.10.1, 0.11.0, 0.12.0, 0.13.0, 0.13.1, 0.14.0, 0.14.1, 0.15.0, 0.15.1, 0.15.2, 0.16.0, 0.16.1, 0.16.2, 0.17.0, 0.17.1, 0.18.0, 0.18.1, 0.19.0rc1, 0.19.0, 0.19.1, 0.19.2, 0.20.0rc1, 0.20.0, 0.20.1, 0.20.2, 0.20.3, 0.21.0rc1, 0.21.0, 0.21.1, 0.22.0) No matching distribution found for pandas==0.24.0

因此，我的猜测是问题出在Azure中管理程序包的方式。更新软件包（在此处为Pandas），应该导致可用的最新版本的更新吗？

Answer 1

我试图在我的Azure Jupyter Notebook上重现您的问题，但失败了。对我来说，不做任何两步，!pip install --upgrade pip和!pip install -I Cython==0.28.5对我来说没有任何问题。

请在下面运行一些代码，以检查您的导入软件包pandas是否正确。

1. 运行print(pandas.__dict__)，以检查输出中是否包含read_parquet函数的描述。
2. 运行print(pandas.__file__)，检查是否导入了其他pandas软件包。
3. 运行import sys; print(sys.path)来检查路径顺序，这些路径下是否有相同的命名文件或目录。

如果存在名为pandas的相同文件或目录，则只需重命名并重新启动ipynb即可重新运行。这是一个常见问题，您可以参考这些SO线程AttributeError: 'module' object has no attribute 'reader'和Importing installed package from script raises "AttributeError: module has no attribute" or "ImportError: cannot import name"。

在其他情况下，请更新您的帖子以获取更多详细信息，让我知道。

---

最新的pandas版本应该是0.23.4，而不是0.24.0。

我试图通过从pandas到{的不同版本的文档中搜索函数名称read_parquet来找出支持read_parquet功能的0.19.2的最早版本。 {1}}。然后，我发现0.23.3版本之后的pandas支持read_parquet功能，如下所示。

版本0.21.1的{​​{3}}中显示的新功能 What's New

根据您的0.21.1描述，您似乎在Azure Jupyter Notebook中使用Python 3.4。并非所有EDIT 2版本都支持Python 3.4版本。

版本和0.21.1正式支持Python 2.7、3.5和3.6，如下所示。 0.22.0

还需要以下Python版本。

PyPI page for pandas

因此，您可以尝试在当前的Python 3.4笔记本中安装pandas版pandas和0.21.1。如果失败，请使用Python 0.22.0或2.7创建一个新的笔记本，以安装>=3.5版本pandas来使用功能>= 0.21.1。