阅读与阅读使用Python与HTML表交互

Question

我正在尝试从具有交互能力的HTML表格中抓取信息来筛选各个时间段。示例表位于此网址：http://quotes.freerealtime.com/dl/frt/M?IM=quotes&type=Time%26Sales&SA=quotes&symbol=IBM&qm_page=45750。

我想在9:30开始，然后向前跳1分钟与桌子互动。我想将所有数据导出到DataFrame。 我尝试过使用pandas.read_html（）并尝试使用BeautifulSoup。尽管我对BeautifulSoup缺乏经验，但这些都不适合我。我的请求是否可能，或者网站是否通过网络报废保护此信息？任何帮助，将不胜感激！

Answer 1

页面非常动态（非常慢，至少在我身边），涉及JavaScript和多个异步请求来获取数据。使用requests接近这一点并不容易，您可能需要使用浏览器自动化，例如selenium。

这是您开始使用的内容。请注意Explicit Waits在这里和那里的使用：

import pandas as pd
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Firefox()
driver.maximize_window()
driver.get("http://quotes.freerealtime.com/dl/frt/M?IM=quotes&type=Time%26Sales&SA=quotes&symbol=IBM&qm_page=45750")

wait = WebDriverWait(driver, 400)  # 400 seconds timeout

# wait for select element to be visible
time_select = Select(wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "select[name=time]"))))

# select 9:30 and go
time_select.select_by_visible_text("09:30")
driver.execute_script("arguments[0].click();", driver.find_element_by_id("go"))
time.sleep(2)

while True:
    # wait for the table to appear and load to pandas dataframe
    table = wait.until(EC.presence_of_element_located((By.ID, "qmmt-time-and-sales-data-table")))
    df = pd.read_html(table.get_attribute("outerHTML"))
    print(df[0])

    # wait for offset select to be visible and forward it 1 min
    offset_select = Select(wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "select[name=timeOffset]"))))
    offset_select.select_by_value("1")

    time.sleep(2)

    # TODO: think of a break condition

请注意，这在我的机器上运行真的非常慢，我不确定它会在你的机器上运行得多好，但它会在无限循环中持续前进1分钟（你可能需要在某些时候停止它）

Answer 2

此页面由JavaScript呈现，如果您在浏览器中禁用JS，则此页面的输出为：

请求或pandas只处理HTML代码。