Question

我创建了一个抓取工具，用于存储像American Eagle这样的网站上的所有目录。但是，在响应中，只有所有目录的子集可用。

我用scrapy shell“https://www.ae.com/web/browse/category.jsp?catId=cat10025&navdetail=mega:men:c2:p1”'

运行了scrapy shell

然后我通过'res = response.css（'＃facetResults'）选择合适的类.css（'。sProd'）'

len（res）~20。但是，如果我们快速访问MEN / Tops的美国老鹰网页/你可以看到有超过20项可用。

我试图改变css选择器但没有成功..请帮助谢谢！：）

Answer 1

如果您将浏览器开发工具中的HTML代码与原始源代码进行比较，您可以看到，虽然浏览器HTML控制台显示所有项目，但是orinal代码仅显示其中的20个。

所有目录信息都存储在一个名为category_json的JS变量中，并且无需与页面交互即可存在于正文中。

我建议您检索该变量并从中提取信息，我使用scrapy shell对此代码进行了一些测试：

In [1]: import re, json

In [2]: data_json = re.search('category_json = ({.*})', response.body).group(1)

In [3]: data = json.loads(data_json)

In [4]: products = data['availablePrds'].keys()

In [5]: data['availablePrds'][products[0]]
Out[5]:
{u'availableColorIds': [],
 u'brandName': u'AEO',
 u'bundleCatId': u'',
 u'classId': u'0164',
 u'colorImageSelectionData': {u'100': {u'colorNam
   u'colorPrdId': u'0164_3898_100',
   u'factoryExclusive': False,
   u'greatGift': False,
   u'imgViews': [u'_f', u'_b'],
   u'isAvailable': True,
   u'newArrival': True,
   u'webExclusive': False}},
 u'contextRoot': u'web',
 u'defaultURL': u'/browse/product_details.jsp',
 u'firstAvailableColorPrdId': u'0164_3898_100',
 u'hasBundle': False,
 u'isAvailable': False,
 u'isClearance': False,
 u'isGWP': False,
 u'isHazMat': False,
 u'listPrice': u'\u20ac22.36 EUR',
 u'marketingMessage': u'Buy One Get One 50% Off',
 u'prdId': u'0164_3898',
 u'prdName': u'AEO NYC Graphic T-Shirt',
 u'rating': u'',
 u'salePrice': u'\u20ac22.36 EUR',
 u'styleId': u'3898'}

如果循环变量，您可以检索每个产品所需的所有信息并生成该项目。

Scrapy crawler的响应仅包含网站的部分内容

1 个答案: