从迭代器标记对象的Pythonic方法,以便以后处理

时间:2017-01-29 19:07:45

标签: python inheritance web-scraping generator

一个有点奇怪的问题,但我目前正在使用python中的抓取设置,该方法会生成一些不同的东西。要抓取的网址以及主要被抓取的对象。

如果产生了URL,那么我想采取某些步骤,例如检查有效性,添加回调等等......为了合理地分离关注点,这些步骤不会发生在主要的抓取功能中。这让我有这样的事情:

Repeater

这些scraper是通过框架的使用编写的,处理程序也可以修改。这个问题是URL只是一个字符串,所以创建一个自定义URL类,以便它可以在处理程序中捕获是非常pythonic。它正在制作一个没有公开方法的课程,这对我来说有点不对。

另一个问题是,由于这些抓取工具可以被覆盖,因为某些其他原因导致某些人想要产生其他字符串是完全可行的,因此仅检查BaseString成员资格似乎也非常简单。

基本上是否有更多的pythonic方式" tag"这些生成的对象是否可以在不创建类的shell的情况下进行后期处理?

0 个答案:

没有答案