我正在使用Calibre从各种新闻来源下载Feed并将其发送给我的kindle。我想知道是否可以使用自定义配方来仅下载在其标题或内容中具有“魔术”关键字的文章。如果您使用自定义配方并覆盖parse_feeds
方法,则标题非常简单:
from __future__ import unicode_literals, division, absolute_import, print_function
from calibre.web.feeds.news import BasicNewsRecipe
class AdvancedUserRecipe1425579653(BasicNewsRecipe):
title = 'MY_TITLE'
oldest_article = 7
max_articles_per_feed = 100
auto_cleanup = True
feeds = [
('MY_TITLE', 'MY_FEED_URL'),
]
def parse_feeds(self):
feeds = BasicNewsRecipe.parse_feeds(self)
for feed in feeds:
for article in feed.articles[:]:
if 'MY_MAGIC_KEYWORD' not in article.title.upper():
feed.articles.remove(article)
return feeds
但由于我无法使用feed.content
方法访问parse_feeds
,因此我想知道是否有其他方法可以为文章内容执行此操作。
答案 0 :(得分:1)
我找到了一个解决方案,由维持Calibre的人Kovid Goyal提供。我的想法是覆盖preprocess_html
,如果文章的内容不符合您的条件,您可以返回None
,在我的情况下逻辑是这样的:
def preprocess_html(self, soup):
if 'MY_MAGIC_KEYWORD' in soup.html.head.title.string.upper():
return soup
if len(soup.findAll(text=re.compile('my_magic_keyword', re.IGNORECASE))) > 0:
return soup
return None
你也可以覆盖preprocess_raw_html
来实现同样的目的。不同之处在于,在preprocess_raw_html
中,您必须使用html作为字符串,而preprocess_html
html已经被解析为Beautiful Soup。