如何获取初始网页后加载的网页元素？

Question

我试图用requests.get从Yahoo Finance（here's Google as an example）下载股票期权数据，这似乎并没有下载所有内容。我尝试使用XPath获取日期下拉，但即使Chrome DevTools说有13个实例，即使//option也没有返回任何内容！

我希望这与实际重要的网站部分在所有导航栏等之后的事实有关，而且我不知道如何得到所有这一切。您能否建议一种在日期下拉菜单中获取每个项目文本的方法？

Answer 1

如果您打开开发控制台并再次刷新页面（可能需要清除缓存），您可以看到一些类型为xhr的请求。

它们通常由JavaScript程序启动，除了HTML主体提供的数据外，还会加载一些数据。

您可以查看的内容。