我现在正试图通过使用spyder从angular material select form control获取投票数据。但是,数据非常大,在我的笔记本上运行Spyder中的代码可能需要几周的时间。是否有任何解决方案可以帮助我在一天内收集这些数据?谢谢!
我的代码如下,我使用来自http://parldata.eu/api/的parliament()和getall()函数
import vpapi
import csv
import pandas as pd
##set the country and party
country = 'cz'
party = 'senat'
vpapi.parliament(country+'/'+party)
## store data to df5, there are 11 million records in the dataset.
## This process is slow.
df5 = pd.DataFrame()
vote = vpapi.getall('votes')
for item in vote:
df_temp = pd.DataFrame.from_dict(item, orient='index')
df5 = df5.append(df_temp.T)