使用webcrawling的Django网站

Question

我在python中创建了一个webcrawler，我想让Django网站显示抓取的结果，我能做到吗？例如：抓取工具进入＆＃34; https://stackoverflow.com/questions＆＃34;并获取第一页的任务并将其显示在网站上（可能在Django的模板上）。

Answer 1

编辑：我刚刚重新阅读了您的问题，看起来您已经在进行刮痧了吗？您应该将该功能实现到Django站点中，然后当然可以显示它。

是的，你可以做到。使用django进行网页抓取的一个很好的组合是使用python请求库（我猜你正在使用）和Beautiful Soup。我已经在几个不同的项目中使用了这个组合，我对它很满意。

另一个流行的选项使用python Scrapy库并将其组合到名为django-dynamic-scraper的django应用程序中。

希望这能指出你正确的方向。