Question

我有许多要导出到pandas数据框的SAS数据集。为此，saspy模块具有sd2fd方法。 SO post描述了我遇到的问题，该链接具有解释为什么在执行代码时不能替换字符串并将其用作变量名的链接。

我正在定义mk_df函数来调用sd2fd方法，然后使用字典来传递键/值对。

import os
import glob
from pathlib import Path
import saspy
import pandas as pd

p = Path('/home/trb/sasdata/export_2_df')
sas_datasets = []
df_names     = []
pya_tables   = []
sep = '.'

for i in p.rglob('*.sas7bdat'):
    sas_datasets.append(i.name.split(sep,1)[0])
    df_names.append('df_' + i.name.split(sep,1)[0])

sd_2_df_dict = dict(zip(sas_datasets,df_names))

sas = saspy.SASsession(results='HTML')

返回：

Using SAS Config named: default
SAS Connection established. Subprocess id is 27752

代码继续...

# tell sas where to find the dataset
sas_code='''
   libname out_df "~/sasdata/export_2_df/";
'''
libref = sas.submit(sas_code)

# define the mk_df function
def mk_df(sas_name, df_name):
    df_name = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    return df_name

# call the mk_df function
for key, value in sd_2_df_dict.items():
    print(key, value)
    mk_df(key, value)

返回：

cars df_cars
failure df_failure
airline df_airline
prdsale df_prdsale
retail df_retail
stocks df_stocks

但是，没有创建任何数据框。

print(df_cars)

NameError                                 Traceback (most recent call last)
<ipython-input-18-aa21e263bad6> in <module>()
----> 1 print(df_cars)

NameError: name 'df_cars' is not defined

我验证了mk_df函数的作用：

mk_df('stocks', 'df_stocks')

    Stock   Date    Open    High    Low     Close   Volume  AdjClose
0   IBM     2005-12-01  89.15   89.92   81.56   82.20   5976252.0   81.37
1   IBM     2005-11-01  81.85   89.94   80.64   88.90   5556471.0   88.01
2   IBM     2005-10-03  80.22   84.60   78.70   81.88   7019666.0   80.86
3   IBM     2005-09-01  80.16   82.11   76.93   80.22   5772280.0   79.22
4   IBM     2005-08-01  83.00   84.20   79.87   80.62   4801386.0   79.62

打印key和value返回字符串：

print(key, value)
   stocks df_stocks

如何迭代对mk_df函数的调用？还是我应该考虑使用其他方法？

@Python R SAS，这是一个有用的观察。因此，我更改了mk_df函数以包含更多信息，并尝试显式命名输出DataFrame。

def mk_df(sas_name, out_df):
    out_df = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    out_df.df_name = out_df
    name =[x for x in globals() if globals()[x] is out_df]
    print("Dataframe Name is: ",  name, "Type: ", type(out_df))
    return out_df

对该函数的调用现在是：

j = 0

for key, value in sd_2_df_dict.items():
     mk_df(key, value).name=df_names[j]
     j += 1

返回：

/opt/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:3: UserWarning: Pandas doesn't allow columns to be created via a new attribute name - see https://pandas.pydata.org/pandas-docs/stable/indexing.html#attribute-access
  This is separate from the ipykernel package so we can avoid doing imports until

Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>
Dataframe Name is:  [] Type:  <class 'pandas.core.frame.DataFrame'>

Answer 1

我没有运行此代码，因此我的回答可能不正确。我看到的是，您的mk_df函数返回了从SAS数据集创建的数据帧。但是，调用该函数时，没有将其分配给任何对象。因此df_name在mk_df函数之外不可用。

基于您的修改的更改

关于这段代码-name =[x for x in globals() if globals()[x] is out_df]：您没有在任何地方创建任何名称为df_cars，df_failure等的变量。因此，globals（）词典中没有任何内容可以使您获得成功，因此x始终为空白-会在您的输出中显示出来。

我认为您要尝试的是通过迭代中变量“值”中包含的名称创建一个数据框。因此，如果值是df_cars，则尝试创建一个名为df_cars的数据框。

问题在于，当您在方法内执行类似df_name =的操作时，它会重新绑定原始引用，因此该引用会丢失。有关详细信息，请参见此出色的讨论。 How do I pass a variable by reference?

我认为，您混淆了df_name和out_df，或者我没有完全理解您要做什么。

执行此操作的一种方法是使用exec语句，出于各种原因，通常不建议这样做：


def mk_df(sas_name):
    this_df = sas.sd2df(table = sas_name, libref = 'out_df', method='CSV')
    this_df.name = "df_" + sas_name
    return this_df

for key, value in sd_2_df_dict.items():
     exec(value + "= mk_df(" + key + ")")

但是我认为您最好只通过字典维护不同的数据帧。即

dfs = dict()
for key, value in sd_2_df_dict.items():
     dfs[key] = mk_df(key)

如何遍历熊猫数据框的集合？

1 个答案: