如何在Linux服务器上完成Web抓取

时间:2019-04-10 09:32:42

标签: web-scraping server

我想在linux服务器上进行网络抓取。但是linux服务器没有GUI和浏览器。他们只有黑屏,即终端。最近,我使用python和chromedriver在Windows上准备了一个硒脚本,该脚本在whatsapp上向您的朋友发送消息。我想将其部署在linux服务器上。它不会在那里运行,对不对?那怎么办?

1 个答案:

答案 0 :(得分:0)

您可以使用选项public partial class Form2 : Form { public Form2() { InitializeComponent(); } string[] _MyArray = new string[3]; public Form2(string[] myArray) { InitializeComponent(); _MyArray = myArray; } private void button1_Click(object sender, EventArgs e) { label1.Text = _MyArray[0]; label2.Text = _MyArray[1]; label3.Text = _MyArray[2]; } } 运行Chrome / Firefox,它将在不显示窗口的情况下运行,因此不需要XWindow(GUI)。它称为--headless Web浏览器。 (并且没有监视器的服务器称为headless服务器)

headless可以使用不显示窗口的Web驱动程序Selenium(而不是Chrome / Firefox)(可能使用WebKit / Qt)。但是,此驱动程序已不再开发。

Linux也可以使用Xfbv创建假/虚拟监视器并运行需要XWindow的程序。