来自几个网站的RSS抓取

时间:2016-08-27 16:03:53

标签: python datetime web-scraping rss feedparser

我正在尝试从博客网站列表中获取一些RSS源。但是,这些网站中的大多数都有较旧的Feeds条目。其中一些网站没有任何etag信息。所以我无法用etag查看最新发布的Feed。

我想出了一个逻辑,根据他们发布的日期来检查Feed。但是,它不起作用。如果有人可以重新编写我的代码,那将会很明显。

import feedparser
import time
from datetime import datetime ,timedelta

today = date.today()

with open("/home/list.txt","r") as f:

    for line in f:
        print line;
        feed_url = line
        feed_list = feedparser.parse(feed_url)
        feed_count = len(feed_list['entries'])
        for item in feed_list.entries:

                if item.feed_list.published == today:

        print item.title + " : " + item.link

0 个答案:

没有答案