假设我有一个网站,在您输入您的卷号时显示您的标记。您也可以通过增加自己的卷号来看到其他人的标记。
我想创建一个Excel工作表来查找商标的标准偏差(大学项目)。
我实际上不可能手动输入所有数据,所以我正在寻找一些可以为我工作的自动化方法,并将所有字段保存在文本文件中,我可以轻松地将其转换为表格。 / p>
背景详情:
链接到网站here。
输入位于文本框中。单击提交时,表将从服务器端生成并显示在网页中。
代码看起来很容易让web bot发送请求并从生成的页面中收集数据。
问题:
我不知道如何编写Web机器人在哪里编写Web机器人。我准备好了解一种编程语言。
我已经开始研究/编写Ruby,并且在一周左右的时间内达到足够的水平。但是我仍然需要帮助才能找到方法,而不是如何做到这一点。
如果您需要查看网页链接和生成的网页,请随时使用我的代码:5675351
答案 0 :(得分:0)
首先,您需要一个可以发出POST请求的ruby库。例如Faraday 。然后,您将发出带有参数哈希的POST请求(填写表单)。在你的情况下,参数的名称是“regno”(查看页面的html源代码以便自己计算出来),值就是你想要提取数据的数字。
您在此阶段所拥有的是带有结果的html页面的来源。
结果大致相同:
<tr bgColor="#ffffff">
<td align="middle"><font face="Arial" size=2> 301</font></td>
<td align="left" ><font face="Arial" size=2>ENGLISH CORE</font></td>
<td align="left" ><font face="Arial" size=2>084 </font></td>
<td align="middle"><font face="Arial" size=2>A2</font></td>
</tr>
只有tr的bgColor变化,当然还有数据。例如,您需要使用regular expression提取所有这些块。您可以做得更好,并使用另一个ruby库Nokogiri的XPath功能。你需要自己看看这两个。
当你拥有所有数据时,你不需要创建Excel表 - Ruby本身就能够进行这样简单的数学运算。
我建议您浏览两个提到的库的所有示例,并将所有相关的库应用于您的特定任务。对于这样的任务来说,Ruby实际上是一个很好的选择,因为库大多数都是好的,而且起点很简单。没有编程经验会使整个过程复杂化。