Scrapy：尽管它存在，但无法访问课程

Question

我正在尝试抓取this页面，我正在尝试获取颜色名称， LT。 BLUE 。从Chrome我看到HTML：

<div id="desc-options"><div class="option"><span class="label">Color:</span> LT. BLUE</div><div class="option"><span class="label">Size:</span> 6.5</div></div>

我尝试response.css("#desc-options")访问内部的所有内容但返回[]。即使BeautifulSoup失败了。

Answer 1

您正在寻找的元素是通过JavaScript动态创建的。您无法从纯HTML中解析它。

好消息是：您正在寻找的数据可能仍在页面中。查看定义<script>变量的spConfig标记。看起来你可以解析一些JSON ......