Question

我无法从该网站上抓取数据 http://hyd-app.rid.go.th/hydro5d.html

我使用Beautiful Soup抓取数据。但是在导出文件中找不到数据inside table in the website。

import requests
url = "http://hyd-app.rid.go.th/hydro5d.html"
data = requests.get(url)
time.sleep(20) 
print(data.status_code)
print(data.text)

如何将网站上的所有数据（包括表格数据）剪贴到文本或csv文件中。

Answer 1

@joke mamub这是最终代码，可以运行，请对其进行测试。

 import requests
 import pandas as pd
 from pandas.io.json import json_normalize
 import json
 headers = {
 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, 
 like Gecko) Chrome/69.0.3497.81 Safari/537.36',
 'Referer': 'http://hyd-app.rid.go.th/hydro5d.html',
}

params = (
 ('option', '2'),
  )

 data = {
'DW[UtokID]': '5',
'DW[TimeCurrent]': '12/01/2562',
'_search': 'false',
'nd': '1547209026513',
'rows': '1000',
'page': '1',
'sidx': 'indexcount',
'sord': 'asc'
}

url = 'http://hyd- 
 app.rid.go.th/webservice/getDailyWaterLevelListReport5.ashx'

  response = requests.post(url, headers=headers, params=params, data=data)
  print(response.json())

无法在python中使用BeautifulSoup从网站抓取数据

1 个答案: