我有一个包含很多字段的数据集,所以我不想将所有字段都加载到pd.DataFrame
中,而只是将其加载到基本字段中。
有时候,我想在加载时进行一些过滤,并且希望通过query
或eval
方法来应用过滤器,这意味着我需要以下形式的查询字符串:即"PROBABILITY > 10 and DISTANCE <= 50"
,但这些列需要加载到数据框中。
是否可以从查询字符串中提取列名以便从数据集中加载它们?
我知道可以使用regex
进行一些魔术操作,但是我相信随着情况的复杂化,它迟早会失效。
所以,我问是否有一种本机的pandas
方法从查询字符串中提取列名。
答案 0 :(得分:0)
我认为您可以在加载数据框时使用术语cols,在加载csv时使用它,我不知道在使用SQL或其他格式时这是可能的。
Columns_to use = ['Column1','Column3'] pd.read_csv(use_cols = Columns_to_use,...)
谢谢