您好我想制作一个检查数据URL的网页抓取工具,如果我制作一个简单的Gui,可以让脚本更容易在该数据中查找变量,那么为gui添加代码会降低我的网络抓取工具的效率吗?
我需要爬虫尽可能高效,以便能够尽快处理数据。是否会为这个Python脚本制作一个gui,会妨碍网络爬虫的性能?
答案 0 :(得分:1)
只要您明确地将GUI逻辑与处理逻辑分开,就不应该。与所有优化的情况一样,最好的方法是先使事情先行,然后对其进行分析和优化,如果它的表现不够快。
我建议您首先创建您的网络抓取工具并忘记GUI。如果您认为它太慢,请对其进行配置和优化。构建它的目的是成为可导入的库。一旦从命令行工作,然后创建GUI前端并将Web爬行库函数和类绑定到GUI中的按钮和字段。明确的分离应确保GUI逻辑不会干扰Web爬行的性能。特别是,尽量避免在Web爬行过程中使用状态信息更新GUI。