Question

我有一个cron正在运行的python脚本。该脚本将导入pandas模块，并使用read_csv将csv加载到数据帧，然后再将其保存到另一个csv。 “ apath”是文件的绝对路径：

statedata_raw=pd.read_csv(apath+'statedata.csv')
statedata_raw.to_csv(apath+'state_data.csv',index=False)

csv文件的权限设置正确-rwxr-xr-x

当我在命令行中运行它时，一切正常。通过cron运行它时，出现以下错误：

Traceback (most recent call last):
  File "/users/maderman/wdtest.py", line 21, in <module>
    statedata_raw=pd.read_csv(apath+'statedata.csv')
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 676, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 448, in _read
    parser = TextFileReader(fp_or_buf, **kwds)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 880, in __init__
    self._make_engine(self.engine)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 1114, in _make_engine
    self._engine = CParserWrapper(self.f, **self.options)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 1891, in __init__
    self._reader = parsers.TextReader(src, **kwds)
  File "pandas/_libs/parsers.pyx", line 374, in pandas._libs.parsers.TextReader.__cinit__
  File "pandas/_libs/parsers.pyx", line 678, in pandas._libs.parsers.TextReader._setup_parser_source
OSError: Initializing from file failed

我通过替换to_csv验证了熊猫本身正在加载并且read_csv在工作。当我用以下代码替换read_csv来手动创建数据框时，一切工作正常，可以在命令行中运行，也可以在cron中运行：

cat=['a','a','a','a','a','b','b','b','b','b']
val=[1,2,3,4,5,6,7,8,9,10]
columns=['cat','val']
data=[cat,val]
dict={key:value for key,value in zip(columns,data)}
statedata_raw=pd.DataFrame(data=dict)

我发现了另一条建议将参数engine='python'传递给read_csv的帖子，但这没有任何作用。

所以我知道：

cron运行python很好
文件权限很好

该问题似乎与read_csv命令特别相关。

任何建议将不胜感激。

Answer 1

这个问题的框架是错误的，并且归结为权限问题。在这里发布并回答了一个更好的问题：stackoverflow.com/questions/62353610

在Mac OS上通过cron运行时，pandas read_csv无法正常工作

1 个答案: