我正在尝试从bitcointalk.org收集有关用户及其公共比特币密钥的数据,我正在使用Scrapy来实现此目的,现在在开始实验后的一周内我总是遇到"总线错误( Core Dumped)",我不明白为什么。我猜我的Scrapy设置可能有一些错误,我在研究工作上落后了,可以真正使用一些帮助。以下是我的设置文件的代码:
BOT_NAME = 'tutorial'
SPIDER_MODULES = ['tutorial.spiders']
NEWSPIDER_MODULE = 'tutorial.spiders'
ITEM_PIPELINES = {'tutorial.pipelines.TutorialPipeline': 100, }
DOWNLOAD_DELAY = 4
COOKIES_ENABLED = False
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeue.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeue.FifoMemoryQueue'
以下是公共存储库的链接,我已经上传了整个代码供您查看github.com/Nikhil1810/ScrapyBitcointalk.git