Question

我试图从3个城市提取数据。如何阅读所有3个城市数据而不是逐一阅读？我是否有重复的代码来读取下面的数据？如何从字典中读取数据以避免错误？非常感谢。

import csv
with open('C:\\Users\\jasch\\chicago.csv') as chicago_data:
    csvReader = csv.reader(chicago_data)

import csv
with open('C:\\Users\\jasch\\new_york_city.csv') as new_york_data:
    csvReader = csv.reader(new_york_data)

import csv
with open('C:\\Users\\jasch\\washington.csv') as washington_data:
    csvReader = csv.reader(washington_data)

import time
import pandas as pd
import numpy as np

CITY_DATA = { 'chicago': 'chicago.csv',
              'new york city': 'new_york_city.csv',
              'washington': 'washington.csv' }

df = pd.read_csv(CITY_DATA[city])

df['Start Time'] = pd.to_datetime(df['Start Time'])
df['month'] = df['Start Time'].dt.month
print (df['month'])

NameError                                 Traceback (most recent call last)
<ipython-input-16-b1588646f194> in <module>()
      7               'washington': 'washington.csv' }
      8 
----> 9 df = pd.read_csv(CITY_DATA[city])
     10 
     11 df['Start Time'] = pd.to_datetime(df['Start Time'])

NameError: name 'city' is not defined

第3。城市数据的csv文件下面的列名几乎相同。

     Start Time             End Time  Trip Duration  \
0  2017-05-29 18:36:27  2017-05-29 18:49:27            780   
1  2017-06-12 19:00:33  2017-06-12 19:24:22           1429   
2  2017-02-13 17:02:02  2017-02-13 17:20:10           1088   
3  2017-04-24 18:39:45  2017-04-24 18:54:59            914   
4  2017-01-26 15:36:07  2017-01-26 15:43:21            434   

              Start Station                          End Station  \
0     Columbus Dr & Randolph St                 Federal St & Polk St   
1        Kingsbury St & Erie St  Orleans St & Merchandise Mart Plaza   
2         Canal St & Madison St              Paulina Ave & North Ave   
3  Spaulding Ave & Armitage Ave       California Ave & Milwaukee Ave   
4        Clark St & Randolph St         Financial Pl & Congress Pkwy   

    User Type  Gender  Birth Year  
0  Subscriber    Male      1991.0  
1    Customer     NaN         NaN  
2  Subscriber  Female      1982.0  
3  Subscriber    Male      1966.0  
4  Subscriber  Female      1983.0

Answer 1

我认为您不需要首先解决使用csv模块读取文件的所有麻烦。您还要重新分配csvReader两次，因此在读完csv文件后，前两个文件（芝加哥和纽约）不会被任何内容引用。

以下是大熊猫阅读多个文件并将它们合并到一个文件中的方法：

import pandas as pd
import os

city_data_files = ['C:\\Users\\jasch\\chicago.csv','C:\\Users\\jasch\\new_york_city.csv', 'C:\\Users\\jasch\\washington.csv']

在下面的这一行中，我们循环遍历文件路径列表并为每个文件路径创建一个DataFrame，为我们留下一个DataFrame列表。此外，我们使用.assign()方法添加具有文件名的列。我们这样做，所以在将DataFrames组合在一起后，我们仍然可以分辨哪一行来自哪个文件。

dfs = [
       pd.read_csv(city_data_file, parse_dates=['Start Time'])\
       .assign(filename=os.path.basename(city_data_file)) 
       for city_data_file in city_data_files
       ]

现在我们可以继续将所有DataFrame合并到一个DataFrame中。

df = pd.concat(dfs) # this line combines the contents of the files 
df['month'] = df['Start Time'].dt.month

至于你的错误 - 堆栈跟踪正好告诉你问题是什么：

----> 9 df = pd.read_csv(CITY_DATA[city])
NameError: name 'city' is not defined

您正在使用变量city但从未在代码中的任何位置定义它。

从字典中提取数据和在pandas中进行路径组合时出错

1 个答案: