无需打开浏览器即可执行网页抓取

Question

搜索网站后，我必须对网站进行网页抓取。对于Google之类的网站，我们可以在查询字符串后附加?q="search_phrase"。但是对于其他一些网站，我们需要在搜索按钮上执行javascript，然后抓取数据。 与编程语言无关的任何想法或建议如何实现？ 我在C＃中使用HTMLAgility来抓取数据。