Question

我正在尝试从此JS代码中提取价格和其他属性：

  <script type="application/ld+json">
{
  "@context": "http://schema.org/",
  "@type": "Product",
  "name": "Rolex Cellini Time 50505",
  "image": [
        "https://chronexttime.imgix.net/S/1/S1006/S1006_58774a90efd04.jpg?w=1024&amp;auto=format&amp;fm=jpg&amp;q=75&amp;usm=30&amp;usmrad=1&amp;h=1024&amp;fit=clamp"      ],
  "description": "Werk: automatic; Herrenuhr; Gehäusegröße: 39; Gehäuse: rose-gold; Armband: leather; Glas: sapphire; Jahr: 2018; Lieferumfang: Originale Box, Originale Papiere, Herstellergarantie",
  "mpn": "S1006",
  "brand":{
    "@type": "Thing",
    "name": "Rolex"
  },
  "offers":{
    "@type": "Offer",
    "priceCurrency": "EUR",
    "price": "11500",
    "itemCondition": "http://schema.org/NewCondition",
    "availability": "http://schema.org/InStock",

    "seller":{
      "@type": "Organization",
      "name": "CHRONEXT Service Germany GmbH"
    }
  }
}
</script>

或者，这段代码也可以做到这一点：

  <script type="text/javascript">
window.articleInfo = {
    'id': 'S1006',
    'model': 'Cellini Time',
    'brand': 'Rolex',
    'reference': '50505',
    'priceLocal': '11500',
    'currencyCode': 'EUR'
};

同一页面上还有更多其他JS代码，因此我不确定如何使用xpath处理此特定脚本。

我尝试过：

response.xpath('//script[contains(.,"price")]/text()').extract_first()

，但是响应包含一堆值，而我只寻找11500的价格。稍后，我还将尝试获取例如名称和条件。

Answer 1

您有两个选择，

1）使用Json，但仅适用于第一种情况

json_data = json.loads(response.xpath('//script[@type="application/ld+json"]/text()').extract_first())
price = json_data['price']

2）使用正则表达式：

response.xpath('//script/text()').re_first('price(?:local)?["\']\s*:\s*["\'](.*)'["\'])

price(?:local)?["\']\s*:\s*["\'](.*)'["\']正则表达式的意思是：

以价格开头，带有可选的local后缀
然后用单引号或双引号
然后在零个或多个空格之间:
然后用单引号或双引号
那么任何值（价格在这里）
然后再次单引号或双引号

Answer 2

对于第一个脚本，是的，没有比直接使用json进行解码更好的选择了。

对于第二个，当然您总是可以使用正则表达式，但是我建议使用一种更干净，更好的解决方案，即使用js2xml，它将javascript转换为可查询xpath的格式：

$ pip安装js2xml

假设一个脚本具有以下结构：

<script type="text/javascript">
window.articleInfo = {
    'id': 'S1006',
    'model': 'Cellini Time',
    'brand': 'Rolex',
    'reference': '50505',
    'priceLocal': '11500',
    'currencyCode': 'EUR'
};
</script>

格式化它就像：

import js2xml

...

parsed = js2xml.parse(response.xpath('//script/text()').extract_first())

您可以通过以下方式查看parsed的结构：

>> print(js2xml.pretty_print(parsed))
>> <program>
  <assign operator="=">
    <left>
      <dotaccessor>
        <object>
          <identifier name="window"/>
        </object>
        <property>
          <identifier name="articleInfo"/>
        </property>
      </dotaccessor>
    </left>
    <right>
      <object>
        <property name="id">
          <string>S1006</string>
        </property>
        <property name="model">
          <string>Cellini Time</string>
        </property>
        <property name="brand">
          <string>Rolex</string>
        </property>
        <property name="reference">
          <string>50505</string>
        </property>
        <property name="priceLocal">
          <string>11500</string>
        </property>
        <property name="currencyCode">
          <string>EUR</string>
        </property>
      </object>
    </right>
  </assign>
</program>

这意味着您现在可以像这样获得所需的信息：

parsed.xpath('//property[@name="id"]/string/text()')[0]
parsed.xpath('//property[@name="model"]/string/text()')[0]
parsed.xpath('//property[@name="brand"]/string/text()')[0]
...

希望我能为您提供帮助。

如何使用xpath检索JavaScript变量值？=

2 个答案: