Scrapy正在输出有缺陷的json文件。当我尝试使用上述json文件时,使用
import json
我遇到了这个错误
json.decoder.JSONDecodeError: Expecting ',' delimiter: line 311 column 94 (char 28466)
这是由于在json文件的前面添加了不必要的方括号引起的。
JSON文件如下所示
[[{"city": "New York", "state": "New York", "rank": "1\n", "population": ["8,622,698\n"]},
{"city": "Los Angeles", "state": "California", "rank": "2\n", "population": ["3,999,759\n"]}]`
我正在使用以下命令进行爬网:
scrapy crawl wiki -o items.json
当我手动卸下方括号时,它会正常运行。这是另一个python脚本:
import json
with open ("items1.json", "r") as read_file:
data = json.load(read_file)
print(type(data))
修改
相关蜘蛛
# -*- coding: utf-8 -*-`
import scrapy
class WikiSpider(scrapy.Spider):
name = "wiki"
allowed_domains = ["en.wikipedia.org"]
start_urls = ('https://en.wikipedia.org/wiki/List_of_United_States_cities_by_population')
def parse(self, response):
table = response.xpath('//table')[4]
trs = table.xpath('.//tr')[1:]
for tr in trs:
rank = tr.xpath('.//td[1]/text()').extract_first()
city = tr.xpath('.//td[2]//text()').extract_first()
state = tr.xpath('.//td[3]//text()').extract()[1]
population = tr.xpath('.//td[4]//text()').extract()
yield {
'rank':rank,
'city': city,
'state': state,
'population':population
}
答案 0 :(得分:1)
您的JSON中肯定有不需要的[
,但是我确实运行了您的代码,并且按预期工作。您确定您不会混淆items1.json
和items.json
吗?两者都在您的问题中提到。
此外,我注意到Wikipedia URL错误,但我认为这只是一个错字。