标签： html go web-scraping web-crawler goquery
我使用 goquery 构建了一个网络抓取工具。但是它只能检索前 14 或 15 篇文章的元数据，因为只有在手动点击“加载更多”按钮后才能看到其余文章。
新文章不是异步加载的，因为我实际上可以在它们可见后发现它们的文本出现在“查看页面源”选项卡下（根据我对“异步”主题的有限了解）。所以我想这是一个加分项。
我该如何处理这个问题？除了最初的 15 篇文章，我还有哪些选择？