如何在熊猫中使用API​​端点下载.csv文件

Question

我想使用pandas从API端点下载csv文件。我正在使用以下代码：

df=pd.read_csv('https://data.cityofnewyork.us/resource/nu7n-tubp.csv').

但是，即使数据集更大（约121k行），结果数据框也只有1,000行。如何下载所有行？

我尝试用nrows指定一个大于1000的数字，但得到的结果相同。

Answer 1

Socrata typically requires you用于分页设置为1,000行的数据。您可以使用$limit parameter通过增加对其进行修改。 Based on the data set page，这大约是122,000行，因此可以使用限制为130k来全部获取它们：

df=pd.read_csv('https://data.cityofnewyork.us/resource/nu7n-tubp.csv?$limit=130000')

您可能还想探索SodaPy库。