为什么我的网络抓取代码不起作用？

Question

我想从使用Python 2.7的网站上抓取飞机到达，并将其导出到excel，但我的代码有问题：

import urllib2
import unicodecsv as csv
import os
import sys
import io
import time
import datetime
import pandas as pd
from bs4 import BeautifulSoup

filename=r'output.csv'

resultcsv=open(filename,"wb")
output=csv.writer(resultcsv, delimiter=';',quotechar = '"', quoting=csv.QUOTE_NONNUMERIC, encoding='latin-1')

url = "https://www.flightradar24.com/data/airports/bud/arrivals"

page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)

data = soup.find('div', { "class" : "row cnt-schedule-table"})
print data

我需要使用类row cnt-schedule table的div的内容。我做错了什么？

Answer 1

我认为问题在于您正在尝试从加载JavaScript的数据集中获取数据。您不必直接从页面加载，而是需要模仿页面填充数据的请求。