基本上我想收集各种搜索引擎(谷歌,雅虎等)的搜索统计数据,我想查看所制作的特定短语/单词的搜索次数并将信息存储在一个文件中,然后使用此信息文章标记在我的网站上。到现在为止,我正在使用Google Trends手动执行此操作。
基本要求是:
登录
操纵HTML DOM元素,包括打开跨度/显示表单(基本上采取任何行动以显示所需的表单)
编辑表单的字段(主要用于数据输入)
提交表格
在表单提交后从网页检索相关信息
Java API是首选但不是必须的,基本上任何语言都可以,只要API“透明”且足够简单,所以我不必花费数天时间学习如何使用它。
我看了this question,建议selenium使用{{3}}作为这个目的之王,似乎已经足够好了。但是,由于它有一年的问题,我想知道是否还有其他选择。
答案 0 :(得分:1)
This网站列出了一些替代硒的方法。
话虽这么说,我使用过硒,发现它非常灵活。您还可以在 headless 模式下进行设置,这样可以让Java应用程序无需GUI就可以工作(如果您有远程服务器来完成工作,但没有监视器,则可能很有用) )。
我唯一遇到的主要问题(selenium)是我使用的Firefox版本仍然不支持,所以你可能需要留意这一点。
另外请注意,如果您将从低功耗设备(例如Raspberry Pi)使用它,请确保添加隐式超时。