访问wiki scraper的数据并将其存储在本地数据库中

Question

您好我已经在scraper-wiki上编写了一个刮刀，它刮掉了一个网页并将数据存储在scraper-wiki数据库中。现在我想在python中编写一个程序，它将转到scraper-wiki API并获取数据和存储在本地计算机的sq lite数据库中。

Answer 1

首先，您需要查询所需的数据。以下是文档：1 2

然后，您需要使用sqlite库存储它，其文档可以在python的官方文档站点找到。

Answer 2

嘿，幸运的是，我得到了答案 在刮刀维基上，这里有一个API https://scraperwiki.com/docs/api#sqlite，它将生成特定wiki scraper表的URI，你想要访问，然后你可以在python的urllib模块的帮助下将其打开为url

import urllib

def access_data():

f= urllib.urlopen('https://api.scraperwiki.com/api/1.0/datastore/sqlite?format=csv&name=example&query=select%20*%20from%20%60table%60')

data=f.read()
s = open('example.csv','w')
s.write(data)

Answer 3

您的刮刀概述页面上还有一个下载链接，您可以将数据下载为sqlite文件，无需代码。然后，您可以在本地处理数据。