如何在Go中抓取动态网站？

Question

使用NodeJS我可以使用PhantomJS来帮助我抓取动态网站，使用Python我可以使用Selenium来完成这项工作。

GoLang怎么样？

Answer 1

尝试使用Go lang selenium web驱动程序

https://github.com/knq/chromedp：使用Chrome调试协议，chromedp包是一种更快，更简单的方式来驱动浏览器（Chrome，Edge，Safari，Android等），而无需外部依赖（即Selenium，PhantomJS等）。 / p>

https://github.com/sourcegraph/go-selenium：Go的Selenium WebDriver客户端

https://github.com/tebeka/selenium：Go的Selenium / Webdriver客户端

静态抓取工具参考

您可以使用github.com/PuerkitoBio/gocrawl库或构建自定义抓取工具，基本想法在https://tour.golang.org/concurrency/10。