网页抓取选项

Question

您能推荐我一些从网页上抓取数据的方法吗？

我一直在尝试使用Python，但是我坚持使用自己的代码。我当时正在考虑使用Octoparse。这是网页（http://www.mlsa.am/?page_id=368），它是一个下拉列表，在该列表中可以选择上一个案例，让您在其他案例中选择其他选项。

Answer 1

您只能使用专门为抓取目的而构建的scrapy framework。

作为入门者，您可以从官方文档开始，然后从中找到所需的一切。

https://docs.scrapy.org/en/latest/intro/tutorial.html

除scrapy外，您还可以使用beautifulsoup。