Question

我试图从TripAdvisor抓取一些数据并使用带有Selenium绑定的Python来完成它。

网页中的评论对象有时会有一个＆＃39; 更多＆＃39;底部的按钮可在单击时显示完整的评论内容。它实际上是一个span元素，带有为其编写的onlclick JS函数。

我想要实现的是加载页面，找到更多＆＃39;更多＆＃39;链接并单击它们，以便在抓取操作开始之前，网页显示已满载的评论。

到目前为止，我已经尝试了以下代码而没有运气。我似乎无法理解堆栈跟踪中显示的错误。

import os
import time
from selenium import webdriver

driver = webdriver.Firefox()
driver.get("https://www.tripadvisor.ca/Attraction_Review-g304138-d317476-Reviews-Temple_of_the_Tooth_Sri_Dalada_Maligawa-Kandy_Central_Province.html#REVIEWS");

more = [];
more = driver.find_elements_by_class_name('moreLink')
print(len(more));
for x in range(0,len(more)):
    if more[x].is_displayed():
        more[x].click();
        print("clicked");

这些是我在控制台中收到的错误日志。

3

Traceback (most recent call last):
  File "C:\Users\**\workspace\ReviewScraper\src\scraper\test3.py", line 13, in <module>
    more[x].click();
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webelement.py", line 75, in click
    self._execute(Command.CLICK_ELEMENT)
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webelement.py", line 454, in _execute
    return self._parent.execute(command, params)
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 201, in execute
    self.error_handler.check_response(response)
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 102, in check_response
    value = json.loads(value_json)
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\json\__init__.py", line 319, in loads
    return _default_decoder.decode(s)
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\json\decoder.py", line 339, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Users\**\AppData\Local\Programs\Python\Python35-32\lib\json\decoder.py", line 357, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

非常感谢任何帮助。

Answer 1

我设法通过恢复到Selenium 1.48.0并在每次抓取评论之前登录TA来完成这项工作。登录后，您可以单击“更多”按钮并轻松提取完整评论。

无法执行onClick javascript selenium - python

1 个答案: