我使用了scrapinghub(云端服务)以CSV格式保存多个页面的内容,我已经保存了response.body现在我想废弃CSV中的这些数据我想知道我可以使用Bs4但是也可以使用scrapy吗?我曾尝试使用Xpath,但我得到''str对象没有属性xpath“我怎样才能将字符串再次转换为scrapy格式?
@Steve
我试过这个
df = pd.read_csv('items_bbb_2.csv')
data = df["Name"][0]
response = TextResponse(body=data, encoding='utf-8')
并收到错误:“名称'TextResponse'未定义”
答案 0 :(得分:2)
你可以试试这个
response = TextResponse(url=<url from csv or place holder>, body=<body from csv>, encoding='utf-8')
我没有在这个上下文中尝试过这个,但它应该将你提供的主体复制到一个Response对象中,以便你可以使用xpath。我在Selenium提供的身体上使用它,它工作正常。
更新:要获取TextResponse的defs,请使用:
from scrapy.http import TextResponse
文档为here。